[論文レビュー] Improve Mathematical Reasoning in Language Models by Automated Process Supervision

Liangchen Luo, Yinxiao Liu+10 more|arXiv (Cornell University)|Jun 5, 2024

Business Process Modeling and Analysis被引用数 6

ひとこと要約

本論文は OmegaPRM を導入します。分割して解くモンテカルロ木探索法である OmegaPRM は、プロセス報酬モデルの訓練のための各ステップの監督データを自動的に生成し、LLMs の数学的推論を改善して MATH で 69.4% に向上させます。

ABSTRACT

Complex multi-step reasoning tasks, such as solving mathematical problems or generating code, remain a significant hurdle for even the most advanced large language models (LLMs). Verifying LLM outputs with an Outcome Reward Model (ORM) is a standard inference-time technique aimed at enhancing the reasoning performance of LLMs. However, this still proves insufficient for reasoning tasks with a lengthy or multi-hop reasoning chain, where the intermediate outcomes are neither properly rewarded nor penalized. Process supervision addresses this limitation by assigning intermediate rewards during the reasoning process. To date, the methods used to collect process supervision data have relied on either human annotation or per-step Monte Carlo estimation, both prohibitively expensive to scale, thus hindering the broad application of this technique. In response to this challenge, we propose a novel divide-and-conquer style Monte Carlo Tree Search (MCTS) algorithm named extit{OmegaPRM} for the efficient collection of high-quality process supervision data. This algorithm swiftly identifies the first error in the Chain of Thought (CoT) with binary search and balances the positive and negative examples, thereby ensuring both efficiency and quality. As a result, we are able to collect over 1.5 million process supervision annotations to train Process Reward Models (PRMs). This fully automated process supervision alongside the weighted self-consistency algorithm is able to enhance LLMs' math reasoning performances. We improved the success rates of the instruction-tuned Gemini Pro model from 51\% to 69.4\% on MATH500 and from 86.4\% to 93.6\% on GSM8K. Similarly, we boosted the success rates of Gemma2 27B from 42.3\% to 58.2\% on MATH500 and from 74.0\% to 92.2\% on GSM8K. The entire process operates without any human intervention or supervision, making our method both financially and ...

研究の動機と目的

• LLMs の多段階の数学的推論を改善するために中間ステップのフィードバックの必要性を動機づける。
• 各ステップの監督（Process Reward Models）用データを自動化し、スケーラブルに収集する方法を提案する。
• 自動化されたプロセス監督と重み付き自己整合性を組み合わせることで MATH で数学問題解決の精度が向上することを示す。
• プロセス監督データの人間のアノテーションと総当たりサンプリングへの依存を低減する。

提案手法

• プロセス監督を導入し、アウトカム報酬モデル（ORMs）と対比する。
• Chain-of-Thought 解法の最初の誤りを効率的に特定する分割統治型モンテカルロ木探索法 OmegaPRM を提案する。
• ロールアウト上で二分探索を用いてモンテカルロ推定で最初の誤りのステップを特定し、計算量を O(k log M) とする。
• 質問、部分解、ロールアウトをエンコードするノードを持つ状態-行動木を構築し、点ごとのソフトラベルまたは代替損失で PRMs を訓練する。
• PRM 重み付き多数決を可能にするために、1.5 million を超える自動化されたプロセス注釈で PRMs を訓練する。

Figure 1 : Example tree structure built with our proposed OmegaPRM algorithm. Each node in the tree indicates a state of partial chain-of-thought solution, with information including accuracy of rollouts and other statistics. Each edge indicates an action, i.e. , a reasoning step, from the last stat

実験結果

リサーチクエスチョン

• RQ1 自動化されたプロセス監督データ収集は、PRMs の訓練のための人間によって注釈されたプロセスデータと同等か、それを超えることができるか？
• RQ2 OmegaPRM は Chain-of-Thought の最初の誤りを効率的に特定して高品質な PRM 訓練信号を提供できるか？
• RQ3 PRMs を重み付き自己整合性と組み合わせることで、MATH のような標準ベンチマークで数学的推論の精度が向上するか？
• RQ4 異なる PRM 訓練目的（ソフトラベル vs ハードラベル、ペアワイズ）が精度に与える影響は？
• RQ5 自動化データの品質とステップ分割が PRM の有効性と推論性能に与える影響はどのようなものか？

主な発見

• OmegaPRM は人間のコストゼロで 1.5 million を超えるプロセス監督注釈の収集を可能にします。
• PRMs trained on OmegaPRM data achieve 69.4% accuracy on the Hendrycks MATH benchmark, a relative 36% improvement over the base model.
• PRM-weighted majority voting with weighted self-consistency outperforms baselines using human-annotated or other automatic datasets.
• Soft-label pointwise PRM training yielded 70.1% accuracy on a small PRM test set, outperforming hard-label and pairwise options.
• Flexible, semantically agnostic step splitting produced similar step-length distributions to rule-based methods and maintained performance.

(a) Monte Carlo estimation of a prefix solution.