[論文レビュー] Navigate through Enigmatic Labyrinth A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future

Zheng Chu, Jingchang Chen+8 more|arXiv (Cornell University)|Sep 27, 2023

Advanced Graph Neural Networks被引用数 25

ひとこと要約

本調査は、X-of-thought（CoT）推論、その構築、構造バリアント、強化、最前線の応用、およびLLMsの将来の方向性を包括的に分析します。

ABSTRACT

Reasoning, a fundamental cognitive process integral to human intelligence, has garnered substantial interest within artificial intelligence. Notably, recent studies have revealed that chain-of-thought prompting significantly enhances LLM's reasoning capabilities, which attracts widespread attention from both academics and industry. In this paper, we systematically investigate relevant research, summarizing advanced methods through a meticulous taxonomy that offers novel perspectives. Moreover, we delve into the current frontiers and delineate the challenges and future directions, thereby shedding light on future research. Furthermore, we engage in a discussion about open questions. We hope this paper serves as an introduction for beginners and fosters future research. Resources have been made publicly available at https://github.com/zchuz/CoT-Reasoning-Survey

研究の動機と目的

• 構築方法、構造変種、強化技術を詳述してXoTの分類体系をマッピングする。
• 計画、ツール使用、蒸留を含むXoTの最前線の応用をレビューする。
• 忠実性、多模態拡張、および理論的基盤などの主要な課題を特定する。
• 手動・自動・半自動のXoT構築のトレードオフを強調する。
• 参考文献とデータセットを含む統合リソースとロードマップを提供する。

提案手法

• XoTの作業を構築、構造的変種、そして強化に分類する。
• 数学的、常識、記号的、論理的、マルチモーダル推論におけるベンチマークと分類学の発展を説明する。
• 最前線の応用（ツール使用、計画、蒸留）と将来の方向性を分析する。
• 課題（忠実性、多模態拡張、理論）を論じ、提案された解決策を要約する。
• 既存の手法を比較し、実務上の考慮事項とトレードオフを要約する。

実験結果

リサーチクエスチョン

• RQ1 XoTを構築する主な方法（手動・自動・半自動）とそれらのトレードオフは何か。
• RQ2 XoTの構造的変種（連鎖、木、グラフ）は推論の性能と適用性にどのような影響を与えるか。
• RQ3 最前線の応用（ツール使用、計画、蒸留）と関連する課題および将来の方向性は何か。
• RQ4 領域を横断してXoTアプローチを評価する際に最も関連性の高いベンチマークと指標は何か。
• RQ5 忠実性とCoT推論の一般化を改善するうえで最も有望な将来の研究方向は何か。

主な発見

• XoTは構築方法、構造変種、および強化技術に分類される。
• XoTの最前線の応用にはツール使用、計画、蒸留が含まれる。
• 手動・自動・半自動のXoTはそれぞれ異なる解釈性、コスト、および一般化の課題を提供する。
• 連鎖、木、グラフのトポロジーといった構造的変種は、推論を段階的に豊かにするが、一般化とタスク選択の問題を引き起こす。
• 検証/洗練、質問分解、外部知識の統合、投票/ランキング、効率化といった強化手法は、誤りを緩和し能力を拡張する。
• 本論文は、CoT評価のための数学的、常識的、記号的、論理的、マルチモーダル推論にまたがるベンチマークとデータセットの概要を提供する。