[論文レビュー] Towards Reasoning in Large Language Models: A Survey

Jie Huang, Kevin Chen–Chuan Chang|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 38

ひとこと要約

大規模言語モデルにおける推論の包括的な調査で、定義、推論を引き出す・改善するための技術、評価方法、発見、今後の方向性を網羅する。

ABSTRACT

Reasoning is a fundamental aspect of human intelligence that plays a crucial role in activities such as problem solving, decision making, and critical thinking. In recent years, large language models (LLMs) have made significant progress in natural language processing, and there is observation that these models may exhibit reasoning abilities when they are sufficiently large. However, it is not yet clear to what extent LLMs are capable of reasoning. This paper provides a comprehensive overview of the current state of knowledge on reasoning in LLMs, including techniques for improving and eliciting reasoning in these models, methods and benchmarks for evaluating reasoning abilities, findings and implications of previous research in this field, and suggestions on future directions. Our aim is to provide a detailed and up-to-date review of this topic and stimulate meaningful discussion and future work.

研究の動機と目的

• LLMsに関連する推論の概念とその形態を明確にする。
• prompting、finetuning、ハイブリッドアプローチを含む、LLMsにおける推論を引き出し改善する技術を要約する。
• LLMsにおける推論の評価方法とベンチマークを調査する。
• 主要な発見と含意を統合し、分野の今後の方向性について議論する。

提案手法

• 特定のデータセットで推論を訓練する手段としての完全に教師ありファインチューニングのレビュー。
• 連鎖的思考推論を引き出すための prompting および in-context learning アプローチの解説。
• 例示設計、探索、検証を含む根拠設計の説明。
• 複雑なタスクに対応する問題分解技法に関する議論。
• トレーニング強化と prompting 戦略を組み合わせたハイブリッド手法の概観。
• 継続的な推論強化のためのブートストラッピングと自己改善パラダイムの扱い。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの文脈における推論とは何であり、評価のためにどのように定義すべきか。
• RQ2 prompting、finetuning、ハイブリッド手法はLLMsの推論能力をどのように引き出すまたは改善できるか。
• RQ3 LLMの推論とその質を効果的に測定する評価方法とベンチマークは何か。
• RQ4 LLM推論に関する主要な発見、制約、将来の研究への示唆は何か。

主な発見

• 推論は非常に大規模な言語モデルにおける出現的能力であるように見え、モデルの規模に依存する可能性がある。
• チェーン・オブ・ソート推論を喚起する prompting は、推論タスクの性能とロバスト性、および分布外のシナリオでの性能を向上させることができる。
• 根拠の洗練、探索、検証は推論の結果と信頼性に影響を与える可能性がある。
• 問題分解戦略は、複雑なタスクをサブ問題に分解することでLLMsが対処するのを助ける。
• 推論を強化した訓練と prompting を組み合わせたハイブリッド手法は、より深い改善の可能性を示す。
• 現在のベンチマークは真の推論能力を十分に捕捉できず、場合によってはモデルの推論を過大評価している可能性がある。