[論文レビュー] Towards Better Chain-of-Thought Prompting Strategies: A Survey

Zihan Yu, Liang He+3 more|arXiv (Cornell University)|Oct 8, 2023

Advanced Graph Neural Networks被引用数 23

ひとこと要約

このサーベイは、Chain-of-Thought prompting を大規模言語モデルに適用する際の体系的な分析を行い、パフォーマンスに影響を与える四つの要因（タスク、プロンプト、拡張戦略、モデル）を特定し、今後の方向性を概説する。

ABSTRACT

Chain-of-Thought (CoT), a step-wise and coherent reasoning chain, shows its impressive strength when used as a prompting strategy for large language models (LLM). Recent years, the prominent effect of CoT prompting has attracted emerging research. However, there still lacks of a systematic summary about key factors of CoT prompting and comprehensive guide for prompts utilizing. For a deeper understanding about CoT prompting, we survey on a wide range of current research, presenting a systematic and comprehensive analysis on several factors that may influence the effect of CoT prompting, and introduce how to better apply it in different applications under these discussions. We further analyze the challenges and propose some future directions about CoT prompting. This survey could provide an overall reference on related research.

研究の動機と目的

• Chain-of-Thought prompting を正式化し、その利用パイプラインを要約する。
• CoT prompting パフォーマンスに著しく影響する四つの要因: タスクタイプ、プロンプト設計、拡張戦略、モデル。
• 既存の CoT prompting 技法を調査し、それらを実践的応用の指針として分類する。
• 課題を議論し、CoT prompting 研究を前進させる未来の方向性を提案する。

提案手法

• CoT prompting の体系的な分類と分析フレームワークを提供する（タスクタイプ、デモンストレーション、推論根拠、プロンプト）。
• 既存のCoT prompting 方法を四つの影響因子の下で整理する。
• エンサンブル、サブプロブレム分割、外部支援、推論の合理化 などの拡張・設計戦略を要約する。
• モデルサイズ、訓練コーパス、CoT に関連する出現能力を含むモデル関連の洞察を議論する。

実験結果

リサーチクエスチョン

• RQ1 CoT prompting を用いて改善が最も見込まれるタスクタイプは何か？
• RQ2 デモンストレーション、推論根拠、プロンプト設計は、タスクとモデル全体でCoTパフォーマンスにどう影響するか？
• RQ3 拡張戦略（エンサンブル、サブプロブレム、外部ツール、推論の合理化）はCoT promptingを最も効果的に高めるか？
• RQ4 モデルサイズと訓練データは、CoT prompting の出現と有用性にどのように影響するか？

主な発見

• CoT prompting は多段階推論タスクで強い利益を示し、解釈可能な推論の痕跡を提供できる。
• 四つの要因がCoT性能に大きく影響する: タスクタイプ、プロンプト設計、拡張戦略、モデル。
• 外部知識とツールの統合は、オープンドメインまたは知識集約的なタスクでCoT性能を高めることができる。
• 大規模モデルスケールで Emergent CoT 能力が見られるという証拠があり、小さなモデルは恩恵が少ないか、微調整が必要。
• 課題には生成された推論の忠実性、複雑な現実世界タスクへの一般性、理論的理解の必要性が含まれる。