[論文レビュー] Prompting for a conversation: How to control a dialog model?

Josef Valvoda, Yimai Fang+1 more|arXiv (Cornell University)|Sep 22, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文では、コントローラーネットワークを用いて入力クエリに応じてプロンプトを条件づけることで、メインモデルの微調整を伴わせずに、高品質で多様性があり、かつ新しい応答を生成できる動的プロンプティングを提案する。微調整より12%のBLEU4向上を達成し、ノベルティ（0.93）と多様性（0.96）の両方を高く維持しており、すべての指標で微調整およびソフトプロンプティングを上回る。GPT-2は動的プロンプティングによってDialoGPTを上回ることすら可能である。

ABSTRACT

Dialog modelling faces a difficult trade-off. Models are trained on a large amount of text, yet their responses need to be limited to a desired scope and style of a dialog agent. Because the datasets used to achieve the former contain language that is not compatible with the latter, pre-trained dialog models are fine-tuned on smaller curated datasets. However, the fine-tuning process robs them of the ability to produce diverse responses, eventually reducing them to dull conversation partners. In this paper we investigate if prompting can mitigate the above trade-off. Specifically, we experiment with conditioning the prompt on the query, rather than training a single prompt for all queries. By following the intuition that freezing the pre-trained language model will conserve its expressivity, we find that compared to fine-tuning, prompting can achieve a higher BLEU score and substantially improve the diversity and novelty of the responses.

研究の動機と目的

• 大規模なテキストで訓練された対話モデルにおける応答品質と多様性のトレードオフを解消すること。
• 特に動的プロンプティングが、モデルの表現力は保ちつつ、応答内容の制御を可能にするかを調査すること。
• ドメイン特化の事前学習（例：DialoGPT）が、対話生成における効果的なプロンプティングに必要かどうかを評価すること。
• 学習データ量がプロンプトベースの応答の多様性とノベルティに与える影響を測定すること。
• 一般向けモデル（GPT-2）と対話特化モデル（DialoGPT）の両者をプロンプティング条件下で比較すること。

提案手法

• 動的プロンプティングは、入力クエリに応じて一意のプロンプト埋め込みを生成するコントローラー（Transformerエンコーダー）を用いる。これにより、文脈に応じた応答生成が可能になる。
• プロンプトは学習可能な連続ベクトルであり、入力シーケンスの先頭に付加される。一方、メインモデルの重みは凍結され、一般言語能力が保持される。
• メインモデルの重みではなく、プロンプト埋め込みと単語埋め込みのみを微調整することで、パラメータ更新を最小限に抑え、モデルの表現力を維持する。
• 比較のためのソフトプロンプトベースラインとして、すべての入力に同一の固定プロンプトを適用する手法を用いる。クエリに応じた条件づけは行われない。
• コントローラーネットワークは入力クエリを処理し、文脈に特化したプロンプトベクトルを生成することで、モデルが各ターンごとに応答スタイルを動的に適応可能にする。
• 訓練データを10%から100%まで変化させ、データ効率を評価する目的で、DailyDialogデータセットを用いてGPT-2およびDialoGPTの両方で実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 動的プロンプティングは、微調整およびソフトプロンプティングよりも、対話生成における応答品質（BLEU4で測定）を向上させることができるか？
• RQ2 BLEU4スコアが上昇するに従い、微調整およびソフトプロンプティングと比較して、動的プロンプティングはより高いノベルティと多様性を維持できるか？
• RQ3 一般向け言語モデル（GPT-2）は、対話特化モデル（DialoGPT）と比較して、動的プロンプティング下で優れた性能を示すか？
• RQ4 学習データ量が、動的プロンプティングと微調整およびソフトプロンプティングのノベルティと多様性に与える影響は何か？
• RQ5 対話モデリングにおける効果的なプロンプティングには、対話特化の事前学習が必要か、それとも一般事前学習で十分か？

主な発見

• 動的プロンプトモデルはBLEU4スコア0.12を達成し、微調整（0.11）に対して9%向上、ソフトプロンプティング（0.08）に対しては15%向上を記録した。
• 動的プロンプティングはノベルティスコア0.93、多様性0.96を維持しており、微調整（0.74および0.79）およびソフトプロンプティング（0.85および0.87）を著しく上回った。
• 訓練データ量が増加するに従い、動的プロンプティングは高いBLEU4および高いノベルティ／多様性を維持するが、微調整およびソフトプロンプティングは、BLEU4スコアが上昇するにつれてノベルティと多様性が急激に低下した。
• GPT-2は動的プロンプティングでBLEU4 0.14を達成し、同じプロンプティング設定下でDialoGPTの0.12を19%上回った。これは、対話特化の事前学習が必須でないことを示唆する。
• GPT-2およびDialoGPTの両方を微調整しても、ほぼ同等の性能が得られた。これは、プロンプティングを用いる場合、対話特化の事前学習による利点が限定的である可能性を示している。
• 動的プロンプティングは10%の訓練データでも効果的である一方、ソフトプロンプティングは30%のデータを過ぎると改善が止まり、大規模な設定では性能が劣った。