[論文レビュー] Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs

Hongru Wang, Rui Wang+6 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、ユーザーの会話文脈に現れる言語的キュー（性格、感情、心理）を明示的に推論することで、LLMベースの対話システムの性能を向上させる、Cue-CoTと呼ばれるチェーン・オブ・トゥークス・プロンプティング手法を提案する。応答生成を中間的推論ステップに分解することにより、6つの多言語データセットにおいて、応答の役立さと受容性が向上し、ゼロショットおよびワンショット設定の両方で、標準的なプロンプティングに比べてM-Cue CoTが優れた耐久性と性能を示す。

ABSTRACT

Large Language Models (LLMs), such as exttt{ChatGPT}, greatly empower dialogue systems with strong language understanding and generation capabilities. However, most of the previous works prompt the LLMs to directly generate a response based on the dialogue context, overlooking the underlying linguistic cues about the user status exhibited in the context. Such in-depth dialogue scenarios are challenging for existing LLMs to figure out the user's hidden needs and respond satisfactorily through a single-step inference. To this end, we propose a novel linguistic cue-based chain-of-thoughts ( extit{Cue}-CoT), which enhances the LLMs inference with an intermediate reasoning step to find cues exhibited in the dialogue, aiming to provide a more personalized and engaging response. To evaluate the approach, we build a benchmark with in-depth dialogue questions, consisting of 6 datasets in both Chinese and English, targeting 3 major linguistic cues during the conversation: extit{personality}, extit{emotion}, and extit{psychology}. We conduct extensive experiments on the proposed benchmark with 5 LLMs under both zero-shot and one-shot settings. Empirical results demonstrate our proposed extit{Cue}-CoT method outperforms standard prompting methods in terms of both extit{helpfulness} and extit{acceptability} on all datasets.

研究の動機と目的

• 深い会話の質問に対して、標準的なプロンプティングでは個人化や文脈に配慮した応答を生成するという限界を克服すること。
• 性格、感情、心理といった言語的キューが、LLMの対話システムにおける推論をどのように向上させられるかを調査すること。
• ユーザー状態を中間的推論ステップを通じて明示的にモデル化する、新しいチェーン・オブ・トゥークス・プロンプティングフレームワークの開発。
• ユーザー状態に配慮した対話生成を評価するための包括的なベンチマークを構築すること。
• 少言語設定におけるデモンストレーション選択戦略を、中間的推論に基づいて検討すること。

提案手法

• Cue-CoTの2つの変種を提案：O-Cue CoT（最終応答を伴う1ステップ推論）とM-Cue CoT（ユーザー状態キューに対する段階的推論）。
• 会話文脈から性格、感情、心理的状態を最初に推論するよう誘導するプロンプトを設計。
• ワンショット設定における、中間的推論結果を選択基準とする、新しいデモンストレーション選択戦略を導入。
• 性格、感情、心理的キューのラベルが付与された、合計7,300件の会話からなる6つのデータセット（中国語3つ、英語3つ）を含むベンチマークを構築。
• 5つのLLMを用いてゼロショットおよびワンショットプロンプティングを実施し、多様なモデルと言語における性能を評価。
• 自動評価と人的評価を用いて、応答の役立さと受容性を測定。中間的推論の正しさについては、曖昧さや1対多のマッピングのため、直接評価は行わない。

実験結果

リサーチクエスチョン

• RQ1 性格、感情、心理といった言語的キューの推論が、LLMが生成する対話応答の質を向上させられるか？
• RQ2 多様な会話シナリオにおいて、Cue-CoTは標準的なプロンプティングに比べ、応答の役立さと受容性で優れているか？
• RQ3 M-Cue CoTは、O-Cue CoTに比べて、推論の耐久性と応答品質で優れているか？
• RQ4 中間的推論結果を、少言語設定におけるデモンストレーション選択を効果的に導くために活用できるか？
• RQ5 Cue-CoTを用いた場合、異なるLLMは多言語の深い会話ベンチマークでどのように性能を発揮するか？

主な発見

• Cue-CoTは、ゼロショットおよびワンショット設定の全6つのデータセットにおいて、標準的なプロンプティングを著しく上回る役立さと受容性を示した。
• M-Cue CoTは、全データセットおよび全LLMにおいて、O-Cue CoTに比べて優れた耐久性と推論パフォーマンスを示した。
• 中間的推論結果に基づく提案されたデモンストレーション選択戦略は、ランダム選択やトップ1選択に比べ、ワンショット設定でより高いパフォーマンスを達成した。
• 実証的結果から、LLMはプロンプト設計に敏感であり、最適なプロンプトがパフォーマンスに不可欠であることが示された。
• 大多数のLLMは、英語（エリア2）または中国語（エリア3）では優れた性能を発揮するが、両言語を同時に処理する場合（エリア4）には劣る傾向にあり、より良い多言語アライメントの必要性が浮き彫りになった。
• 本研究は、会話応答生成における1対多の性質と、誤った推論経路を経ても正しい答えが得られる可能性があることから、中間的推論の評価の難しさを浮き彫りにした。