[論文レビュー] AlphaMath Almost Zero: Process Supervision without Process

Chen Guoxin, Minpeng Liao+2 more|arXiv (Cornell University)|May 6, 2024

Business Process Modeling and Analysis被引用数 6

ひとこと要約

AlphaMath は Monte Carlo Tree Search を、事前学習済みの LLM および軽量な値モデルと統合して、人間または GPT-4 注釈付きのプロセスデータを用いずに自律的に高品質な数学的推論を生成し、ステップレベルの評価とステップレベルビーム探索による効率的推論を可能にします。

ABSTRACT

Although recent advancements in large language models (LLMs) have significantly improved their performance on various tasks, they still face challenges with complex and symbolic multi-step reasoning, particularly in mathematical reasoning. To bolster the mathematical reasoning capabilities of LLMs, most existing efforts concentrate on seeking assistance from either domain experts or GPT-4 for high-quality process-supervised data, which is not only expensive but also labor-intensive. In our study, we propose an innovative framework, AlphaMath, that bypasses the need for process annotations (from humans or GPTs) by leveraging Monte Carlo Tree Search (MCTS). This framework focuses on unleashing the potential of a well-pretrained LLM to autonomously enhance its mathematical reasoning. Specifically, we integrate a value model with the LLM, automatically generating both process supervision and step-level evaluation signals in MCTS. Furthermore, we propose an efficient inference strategy, step-level beam search, where the value model is crafted to assist the policy model (i.e., LLM) in navigating more effective reasoning paths, rather than solely relying on prior probabilities. The experimental results on both in-domain and out-of-domain datasets demonstrate that even without GPT-4 or human-annotated process supervision, our AlphaMath framework achieves comparable or superior results to previous state-of-the-art methods.

研究の動機と目的

• モデルの内在知識を活用して、LLM における数学的推論の注釈コストを削減する動機づけ。
• 外部解なしで中間推論ステップを生成・評価するために MCTS を用いる自己進化フレームワークの開発。
• 値モデルで LLM を案内しつつ推論を効率化するためのステップレベルビーム探索の導入。
• GPT-4 や人間の注釈なしで、AlphaMath がイン-domain およびアウトオブドメインの数理データセットで最先端に近い性能を達成できることを示す。

提案手法

• 事前学習済みの LLM を Monte Carlo Tree Search (MCTS) フレームワークと統合して、推論ステップを生成・評価する。
• 部分解の品質を推定し、探索中に LLM を導くステップレベルの値モデル Vϕ の導入。
• 非終端ステップには 0、終端の正解/不正解回答には ±1 を割り当てる報酬信号を定義し、回帰で Vϕ を eV(s) へ訓練する。
• λ により制御される、値モデルと経験的ロールアウト報酬を結合した ˆV(st) を用いる MCTS 中のハイブリッド評価。
• 推論時にフル MCTS の代わりにステップレベルビーム探索 (SBS) を提案し、価値モデルを活用して有望なステップを選択しつつ待機時間を削減。
• MCTS 生成の正解/不正解解決パスから方策 πθ と値 Vϕ を更新する反復的な訓練ループを採用し、次トークン確率と値誤差を組み合わせたマルチタスク損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの LLM が、MCTS に導かれる場合、人間または GPT-4 注釈付き解法なしで高品質な数学的推論を生成できるだろうか？
• RQ2 LLM に統合された軽量な値モデルは、ステップレベルの推論および全体的な問題解決性能を向上させるか？
• RQ3 ステップレベルビーム探索は、運用展開におけるフル MCTS の効果的で効率的な代替手段となるか？
• RQ4 外部注釈付きプロセスなしで、AlphaMath はイン-domain およびアウトオブドメインの数理データセットでどのように性能を示すか？
• RQ5 AlphaMath は、数理推論タスクにおいて、SFT モデルを含むドメイン固有モデルと汎用モデルの双方を強化できるか？

主な発見

• AlphaMath は、イン-domain データセット（GSM8K、MATH）およびアウトオブドメインデータセット（GaoKao2023、OCWCourses、GK2023）で、GPT-4 や人間が注釈した解法なしに、最先端手法と同等またはそれを上回る結果を達成する。
• ステップレベルの値モデルとステップレベルビーム探索を組み込むと、グリーディー復号やプレーンな MCTS より推論性能が大幅に向上し、ビームサイズが大きくなるにつれて性能が向上する。
• MCTS による自己進化を導く反復訓練は、ラウンドを重ねるごとに解の品質を向上させ、自己生成データの品質がより多くのラウンドで改善されることを示している。
• このアプローチは、ドメイン特化モデル（例：DeepSeekMath-Base-7B）と汎用モデル／SFT モデル（例：Llama3、MARIO）の双方に有益であり、広い適用性を示している。
• ステップレベルビーム探索は、性能と計算の間に有利なトレードオフを提供し、低遅延でほぼ MCTS レベルの推論を可能にする。