[論文レビュー] Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing

Ye Tian, Baolin Peng+5 more|arXiv (Cornell University)|Apr 18, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

この論文では、想像・探索・評価のループを介してモンテカルロ木探索（MCTS）と大規模言語モデル（LLM）を統合する自己改善フレームワーク、AlphaLLMを紹介する。プロンプトの合成、階層的オプションを用いた最適化されたMCTS、および正確なフィードバックを提供する3つの評価モデルの活用により、追加のアノテーションを必要とせず、MCTSによるデコードでGPT-4に近い水準にまで数学的推論性能を向上させた。

ABSTRACT

Despite the impressive capabilities of Large Language Models (LLMs) on various tasks, they still struggle with scenarios that involves complex reasoning and planning. Recent work proposed advanced prompting techniques and the necessity of fine-tuning with high-quality data to augment LLMs' reasoning abilities. However, these approaches are inherently constrained by data availability and quality. In light of this, self-correction and self-learning emerge as viable solutions, employing strategies that allow LLMs to refine their outputs and learn from self-assessed rewards. Yet, the efficacy of LLMs in self-refining its response, particularly in complex reasoning and planning task, remains dubious. In this paper, we introduce AlphaLLM for the self-improvements of LLMs, which integrates Monte Carlo Tree Search (MCTS) with LLMs to establish a self-improving loop, thereby enhancing the capabilities of LLMs without additional annotations. Drawing inspiration from the success of AlphaGo, AlphaLLM addresses the unique challenges of combining MCTS with LLM for self-improvement, including data scarcity, the vastness search spaces of language tasks, and the subjective nature of feedback in language tasks. AlphaLLM is comprised of prompt synthesis component, an efficient MCTS approach tailored for language tasks, and a trio of critic models for precise feedback. Our experimental results in mathematical reasoning tasks demonstrate that AlphaLLM significantly enhances the performance of LLMs without additional annotations, showing the potential for self-improvement in LLMs.

研究の動機と目的

• 複雑なタスクにおけるデータ不足と推論能力の低さというLLMの限界を解消すること。
• 外部のアノテーションや高品質な教師ありデータに依存せずに、LLMの自己改善を可能にすること。
• 膨大な探索空間と主観的なフィードバックに直面するも、自然言語タスクにMCTSを適応させること。
• LLMが自身の推論経路を生成・探索・評価するスケーラブルな自己教師型ループを設計すること。
• MCTSを強化したLLMが、数学的推論においてGPT-4と同等の性能を達成できることを実証すること。

提案手法

• データ不足を軽減するための戦略的プロンプト合成を実装する想像モジュールを導入する。
• テキスト生成をマークフ・意思決定過程（MDP）上のオプションとして扱う階層的MCTSの変種であるη-MCTSを提案する。これにより、多段階の計画が可能になる。
• 推論品質に関する正確で多面的なフィードバックを提供する3つの評価モデル（推論評価、ツール拡張型評価、内生的知識評価）を採用する。
• MCTSのロールアウトから得られる自己プレイ経路を活用して方策ネットワークを微調整し、反復的な自己改善を可能にする。
• 状態のマージと増加したロールアウトを適用して、探索の効率性と収束性を向上させる。
• 内生的知識と外部ツールを統合した報酬モデル（ORM）を統合し、複雑な推論ステップを評価する。

Figure 1: Imagination-Searching-Criticizing self-improvement loop: Imagination component synthesizes prompts as new learning examples, with MCTS searching better trajectories guided by signals from critics for policy improving.

実験結果

リサーチクエスチョン

• RQ1 MCTSは自然言語生成タスクに効果的に適応可能であり、LLMの自己改善を可能にするか？
• RQ2 LLMは、推論タスクにおけるデータ不足を克服するために、高品質な合成データをどのように生成できるか？
• RQ3 マルチ評価フレームワークは、単一評価またはヒューリスティック手法よりも、より正確で信頼性の高いフィードバックを提供できるか？
• RQ4 追加のアノテーションなしで、MCTSによる探索が推論精度をどの程度向上できるか？
• RQ5 MCTSを介した反復的自己改善は、LLMにおいて継続的な性能向上をもたらすか？

主な発見

• AlphaLLMはGSM8Kの数学的推論ベンチマークで87.0%の正確性を達成し、ベースモデルを顕著に上回った。
• 148回のロールアウトで、η-MCTSはMATHデータセットで45.4%の正確性を達成し、文単位のMCTS（44.1%）を上回り、少ないロールアウト回数で優れた性能を示した。
• ツール拡張型評価モデルの導入により、性能は38.8%から45.4%に向上し、外部ツールがフィードバックに果たす重要性が明確になった。
• η-MCTSのロールアウト経路で学習したモデルは、再ランク付けされた経路で学習したモデルを上回り、η-MCTSによるデコードではGPT-4の性能に並んだ。
• 2ラウンドの反復的自己改善により一貫した性能向上が確認され、自己改善ループのスケーラビリティが裏付けられた。
• アブレーションスタディにより、オプションの定式化と外部ツールの両方が高パフォーマンスに不可欠であることが確認され、いずれかを欠如させると性能が著しく低下した。

Figure 2: An overview of the four operations of $\eta$ Mcts . A node is selected, expanded, simulated with fast rollout policy until a terminal node is reached, then the signals from value function, PRM and ORM are backpropagated.