[論文レビュー] Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents

Zhuosheng Zhang, Yao Yao+9 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用数 11

ひとこと要約

CoT推論と語用エージェントの網羅的な調査。仕組み、パラダイムシフト、CoTによって可能となったエージェントの出現を詳述。課題と将来の方向性についても論じる。

ABSTRACT

Large language models (LLMs) have dramatically enhanced the field of language intelligence, as demonstrably evidenced by their formidable empirical performance across a spectrum of complex reasoning tasks. Additionally, theoretical proofs have illuminated their emergent reasoning capabilities, providing a compelling showcase of their advanced cognitive abilities in linguistic contexts. Critical to their remarkable efficacy in handling complex reasoning tasks, LLMs leverage the intriguing chain-of-thought (CoT) reasoning techniques, obliging them to formulate intermediate steps en route to deriving an answer. The CoT reasoning approach has not only exhibited proficiency in amplifying reasoning performance but also in enhancing interpretability, controllability, and flexibility. In light of these merits, recent research endeavors have extended CoT reasoning methodologies to nurture the development of autonomous language agents, which adeptly adhere to language instructions and execute actions within varied environments. This survey paper orchestrates a thorough discourse, penetrating vital research dimensions, encompassing: (i) the foundational mechanics of CoT techniques, with a focus on elucidating the circumstances and justification behind its efficacy; (ii) the paradigm shift in CoT; and (iii) the burgeoning of language agents fortified by CoT approaches. Prospective research avenues envelop explorations into generalization, efficiency, customization, scaling, and safety. This paper caters to a wide audience, including beginners seeking comprehensive knowledge of CoT reasoning and language agents, as well as experienced researchers interested in foundational mechanics and engaging in cutting-edge discussions on these topics. A repository for the related papers is available at https://github.com/Zoeyyao27/CoT-Igniting-Agent.

研究の動機と目的

• チェーンオブソート（CoT）推論の基礎的な機構と利点を説明する。
• promptingパターン、推論形式、CoTの適用シナリオにおけるパラダイムシフトを分析する。
• CoTが言語エージェントと知覚、記憶、行動の能力をどのように可能にするかを説明する。
• 一般化、効率化、カスタマイズ、スケーリング、安全性における課題と将来の機会を要約する。

提案手法

• 基礎となるCoT文献をレビューし、主要な要素（指示、推論の根拠、例示、ゼロショットおよび少数ショットCoT）を定義する。
• CoTが機能する条件とその理由に関する理論的および経験的分析を統合する（モデルサイズと知識構造に対する要件）。
• promptingパターン、推論形式、適用シナリオのパラダイムシフトを整理する。
• CoTから自律的な言語エージェントとそのアーキテクチャ/構成要素への進化を検討する。
• 推論タスクとエージェントフレームワークに跨る実証的デモンストレーションを要約し、課題と今後の方向性を議論する。）

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルにおいて、どの条件下でチェーンオブソウト推論は効果的になるか？
• RQ2 CoT研究における prompting、推論形式、適用の主なパラダイムシフトは何か？
• RQ3 CoT技術は自律的な言語エージェントの開発にどのように寄与するか？
• RQ4 CoTと語言エージェントにおける一般化、効率性、カスタマイズ、スケーリング、安全性の主要な課題と機会は何か？

主な発見

カテゴリ	データセット	モデル	最高精度	LLM
Arithmetic Reasoning	GSM8K	CSV ( Zhou et al., 2023b )	97.00	GPT-4 Code Interpreter
Arithmetic Reasoning	AQuA	Natural Program ( Ling et al., 2023 )	70.34	Chatgpt
Arithmetic Reasoning	SVAMP	PoT ( Chen et al., 2022 ) + SC	89.10	Text-davinci-002
Commonsense Reasoning	CSQA	Manual-CoT ( Wei et al., 2023b ) + SC	95.10	PaLM 2
Commonsense Reasoning	Strategy QA	Manual-CoT ( Wei et al., 2023b ) + SC	90.40	PaLM 2
Symbolic Reasoning	last letter concatenation	Natural Program ( Ling et al., 2023 )	92.98	Chatgpt
Symbolic Reasoning	Coin Flip	Auto-CoT ( Zhang et al., 2023c )	99.90	Text-davinci-002

• CoTは理想的には1000億以上のパラメータを持つ十分大きなモデルを用いる場合に効果的であり、タスクに関連し相互接続された知識要素を持つ。
• CoTは原子レベルの知識要素を特定し、中間推論ステップを介してそれらを結びつける。
• CoTは promptingパターン、推論形式、適用シナリオのパラダイムシフトを経験してきた。
• CoTは言語指示に従い、現実の環境で行動できる言語エージェントの出現を促し、知覚・記憶・推論を強化。
• 進展にもかかわらず、一般化、効率性、カスタマイズ、スケーリング、安全性の課題が残っている。