[논문 리뷰] Improve Mathematical Reasoning in Language Models by Automated Process Supervision

Liangchen Luo, Yinxiao Liu외 10명|arXiv (Cornell University)|2024. 06. 05.

Business Process Modeling and Analysis인용 수 6

한 줄 요약

논문은 OmegaPRM을 도입한다. 이는 프로세스 보상 모델(Process Reward Models) 학습을 위한 per-step 프로세스 감독 데이터를 자동으로 생성하기 위한 분할-정복 몬테카를로 트리 탐색 방법으로, LLM의 수학 추론을 향상시켜 MATH에서 69.4%를 달성한다.

ABSTRACT

Complex multi-step reasoning tasks, such as solving mathematical problems or generating code, remain a significant hurdle for even the most advanced large language models (LLMs). Verifying LLM outputs with an Outcome Reward Model (ORM) is a standard inference-time technique aimed at enhancing the reasoning performance of LLMs. However, this still proves insufficient for reasoning tasks with a lengthy or multi-hop reasoning chain, where the intermediate outcomes are neither properly rewarded nor penalized. Process supervision addresses this limitation by assigning intermediate rewards during the reasoning process. To date, the methods used to collect process supervision data have relied on either human annotation or per-step Monte Carlo estimation, both prohibitively expensive to scale, thus hindering the broad application of this technique. In response to this challenge, we propose a novel divide-and-conquer style Monte Carlo Tree Search (MCTS) algorithm named extit{OmegaPRM} for the efficient collection of high-quality process supervision data. This algorithm swiftly identifies the first error in the Chain of Thought (CoT) with binary search and balances the positive and negative examples, thereby ensuring both efficiency and quality. As a result, we are able to collect over 1.5 million process supervision annotations to train Process Reward Models (PRMs). This fully automated process supervision alongside the weighted self-consistency algorithm is able to enhance LLMs' math reasoning performances. We improved the success rates of the instruction-tuned Gemini Pro model from 51\% to 69.4\% on MATH500 and from 86.4\% to 93.6\% on GSM8K. Similarly, we boosted the success rates of Gemma2 27B from 42.3\% to 58.2\% on MATH500 and from 74.0\% to 92.2\% on GSM8K. The entire process operates without any human intervention or supervision, making our method both financially and ...

연구 동기 및 목표

• LLMs에서 다단계 수학적 추론을 개선하기 위해 중간 단계 피드백의 필요성을 제기한다.
• 프로세스 감독(Per-step supervision)을 위한 자동화되고 확장 가능한 데이터 수집 방법을 제안한다.
• 자동화된 프로세스 감독과 가중치가 있는 자기 일관성을 결합하면 MATH와 같은 수학 문제 해결이 향상된다는 것을 증명한다.
• 프로세스 감독 데이터에 대한 인간 주석 및 무작위 샘플링 의존도를 줄인다.

제안 방법

• 프로세스 감독을 도입하고 결과 보상 모델(ORMs)과 차별화한다.
• OmegaPRM은 Chain-of-Thought 해결의 첫 오류를 효율적으로 찾아내는 divide-and-conquer Monte Carlo Tree Search를 제안한다.
• Monte Carlo 추정치를 사용하여 롤아웃에서 첫 잘못된 단계를 식별하기 위해 롤아웃에 대한 이진 탐색을 사용하여 O(k log M) 복잡도를 달성한다.
• 질문, 부분 해법 및 롤아웃을 인코딩하는 상태-행동 트리를 구성하고, 점별 소프트 레이블이나 대체 손실로 PRM을 학습한다.
• PRM이 가중치가 붙은 다수결 투표를 가능하게 하도록 150만 건이 넘는 자동화된 프로세스 주석으로 PRM을 학습한다.

Figure 1 : Example tree structure built with our proposed OmegaPRM algorithm. Each node in the tree indicates a state of partial chain-of-thought solution, with information including accuracy of rollouts and other statistics. Each edge indicates an action, i.e. , a reasoning step, from the last stat

실험 결과

연구 질문

• RQ1 자동화된 프로세스 감독 데이터 수집이 PRM 학습을 위한 인간 주석 프로세스 데이터와 일치하거나 그 이상일 수 있는가?
• RQ2 OmegaPRM이 Chain-of-Thought의 첫 오류를 효율적으로 식별하여 고품질 PRM 학습 신호를 제공하는가?
• RQ3 PRM을 가중치가 있는 자기 일관성과 결합하면 MATH와 같은 표준 벤치마크에서 수학 추론 정확도가 향상되는가?
• RQ4 다른 PRM 학습 목표(소프트 라벨 vs 하드 라벨, 페어와이즈)가 정확도에 어떤 영향을 미치는가?
• RQ5 자동화된 데이터 품질과 단계 분할이 PRM의 효과 및 추론 성능에 어떤 영향을 미치는가?

주요 결과

• OmegaPRM은 인간의 비용 없이 150만 건이 넘는 프로세스 감독 주석 데이터를 수집할 수 있도록 한다.
• OmegaPRM 데이터로 학습된 PRM은 Hendrycks의 MATH 벤치마크에서 69.4% 정확도를 달성하며, 기본 모델 대비 상대적으로 36% 향상된다.
• 가중치가 있는 자기 일관성과 함께 PRM 가중 다수결 투표는 인간 주석 데이터나 다른 자동 데이터 세트를 사용한 baselines보다 우수하다.
• 소프트 라벨 점별 PRM 학습은 작은 PRM 테스트 세트에서 70.1% 정확도를 달성하여 하드 라벨 및 페어와이즈 옵션보다 우수했다.
• 유연하고 의미적으로 비의존적인 단계 분할은 규칙 기반 방법과 유사한 단계 길이 분포를 보였고 성능을 유지했다.

(a) Monte Carlo estimation of a prefix solution.