[論文レビュー] Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models

Haoyu Gao, Ting-En Lin+5 more|arXiv (Cornell University)|Sep 22, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、自己説明プロンプトを提案する。これは、タスクに依存しないゼロショットプロンプティング戦略であり、大規模言語モデル（LLM）の対話的文脈理解を向上させるために、タスク完了前に各発話の説明を生成させることを要請する。この手法は、他のゼロショットプロンプトを著しく上回り、6つの対話ベンチマークデータセットで少サンプルプロンプティングと同等またはそれを上回る性能を示し、微調整を伴わずに文脈理解が向上することを示している。

ABSTRACT

Task-oriented dialogue (TOD) systems facilitate users in executing various activities via multi-turn dialogues, but Large Language Models (LLMs) often struggle to comprehend these intricate contexts. In this study, we propose a novel "Self-Explanation" prompting strategy to enhance the comprehension abilities of LLMs in multi-turn dialogues. This task-agnostic approach requires the model to analyze each dialogue utterance before task execution, thereby improving performance across various dialogue-centric tasks. Experimental results from six benchmark datasets confirm that our method consistently outperforms other zero-shot prompts and matches or exceeds the efficacy of few-shot prompts, demonstrating its potential as a powerful tool in enhancing LLMs' comprehension in complex dialogue tasks.

研究の動機と目的

• 複雑でマルチターンのタスク指向対話（TOD）において、推論中心のプロンプティング（例：チェーン・オブ・トークン）が性能を発揮しない、大規模言語モデル（LLM）の文脈理解の限界を是正すること。
• 少サンプルのデモや微調整に依存しないようにするため、文脈理解を強化するゼロショットプロンプティング戦略を開発すること。
• 対話中心のタスク、例えば対話状態追跡や次行動予測などに適用可能な、タスクに依存しないプロンプティング手法を構築すること。
• 長文脈で外部検索に依存する対話タスクにおいて、回答の取得が推論ではなく文脈理解に大きく依存する状況で、LLMの性能を向上させること。
• 自己説明が、タスク実行前の内部文脈処理を強化することで、モデル性能を向上させることを示すこと。

提案手法

• この手法は、下流タスクを実行する前に、対話文脈内での各発話の説明を生成させることを指示するプロンプトテンプレートを導入する。
• 各ターンの前には、'以下の発話を対話文脈内で説明してください:'といったプレフィックスを付加し、その後にタスク固有の指示を続く。
• この自己説明ステップにより、モデルは最終応答を生成する前に、各発話の意味を分析・内部化するよう強制される。
• このアプローチは完全にゼロショットであり、ラベル付きデモやタスク固有の微調整を必要としない。
• この手法は、対話状態追跡、スロットフィルリング、次行動予測など、多様な対話タスクに一貫して適用可能である。
• 説明ステップは入力プロンプトに統合されており、あらゆるLLMと互換性があり、異なる対話データセットへの容易な展開が可能である。

Figure 1: The input example for the reasoning task and the task-oriented dialogue is structured into two components: Context and Question.

実験結果

リサーチクエスチョン

• RQ1 シンプルな自己説明プロンプティング戦略は、微調整を伴わず、マルチターン対話におけるLLMの文脈理解を向上させることができるか？
• RQ2 自己説明プロンプティングは、チェーン・オブ・トークンのような既存のゼロショットプロンプティング手法と比較して、対話理解タスクで優れているか？
• RQ3 この手法は、長文脈や外部の回答検索空間を含む多様な対話中心のタスクに一般化可能か？
• RQ4 自己説明プロンプティングは、対話理解タスクで少サンプルプロンプティングと同等の性能を達成できるか？
• RQ5 発話単位の説明を要求することで、直接的なタスクプロンプティングよりも優れた文脈の根拠づけが得られるか？

主な発見

• 自己説明プロンプティングは、MultiWOZ、SGD、MultiArithを含む6つのベンチマーク対話データセットにおいて、他のすべてのゼロショットプロンプティングベースラインを一貫して上回る。
• この手法は、少サンプルプロンプティング戦略と同等またはそれ以上の性能を達成しており、強力なゼロショット効果を示している。
• MultiWOZデータセットでは、標準的なCoTとゼロショットベースラインを上回る対話状態追跡の正確性が実現された。
• このアプローチは、長文脈理解や外部知識の取得を要するタスクに対しても、頑健であることが示された。
• 性能向上の要因は、自己説明ステップにより、モデルの対話履歴の追跡と推論能力が強化されたことに起因する。
• この手法はタスクに依存せず、アーキテクチャやプロンプト工学の変更なしに、さまざまな対話タスクに一貫して適用可能である。

Figure 2: Example inputs and outputs of GPT-3 with No explanation ahead (upper) and Explain before answer (lower). Explanation greatly improves the understanding of the dialogue.