[論文レビュー] Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective

Zhiyuan Zeng, Qinyuan Cheng+7 more|arXiv (Cornell University)|Dec 18, 2024

Auction Theory and Applications被引用数 4

ひとこと要約

この論文は、OpenAI o1のエキスパートレベルの推論能力を再現するための強化学習ベースのロードマップを提示している。主な特徴は4つのコアコンponents：人間らしい推論を実現するためのポリシー初期化、結果とプロセスの両方の信号を含む報酬設計、MCTS や Best-of-N といった検索戦略、および検索によって生成されたデータを用いた微調整によるスケーラブルな学習。主な貢献は、既存のオープンソース o1 再現プロジェクトを統合し、検索と学習を組み合わせて同様のパフォーマンスを達成するためのスケーラブルな道筋を提供する、体系的かつモジュラーなフレームワークの構築である。

ABSTRACT

OpenAI o1 represents a significant milestone in Artificial Inteiligence, which achieves expert-level performances on many challanging tasks that require strong reasoning ability.OpenAI has claimed that the main techinique behinds o1 is the reinforcement learining. Recent works use alternative approaches like knowledge distillation to imitate o1's reasoning style, but their effectiveness is limited by the capability ceiling of the teacher model. Therefore, this paper analyzes the roadmap to achieving o1 from the perspective of reinforcement learning, focusing on four key components: policy initialization, reward design, search, and learning. Policy initialization enables models to develop human-like reasoning behaviors, equipping them with the ability to effectively explore solution spaces for complex problems. Reward design provides dense and effective signals via reward shaping or reward modeling, which is the guidance for both search and learning. Search plays a crucial role in generating high-quality solutions during both training and testing phases, which can produce better solutions with more computation. Learning utilizes the data generated by search for improving policy, which can achieve the better performance with more parameters and more searched data. Existing open-source projects that attempt to reproduce o1 can be seem as a part or a variant of our roadmap. Collectively, these components underscore how learning and search drive o1's advancement, making meaningful contributions to the development of LLM.

研究の動機と目的

• OpenAI o1 が実現するエキスパートレベルの推論パフォーマンスを可能にするキーコンポーネントを特定・体系化すること。
• 強化学習の原則に従い、o1 を再現する包括的かつモジュラーなフレームワークを提供すること。
• 既存のオープンソース o1 再現プロジェクトがこのロードマップとどのように一致するか、あるいは逸脱しているかを明確にすること。
• 検索と学習の統合的統合により、大規模言語モデルにおける推論のスケーラビリティを克服する挑戦に取り組むこと。

提案手法

• 言語理解、世界知識、基本的推論の事前学習によりポリシー初期化を行い、その後、目標の明確化やタスクの分解といった人間らしい推論行動を内蔵するための指示微調整を実施する。
• 結果ベースとプロセスベースの両方の報酬を用いた報酬設計で、報酬形状、学習済み報酬モデル、アンサンブル手法を用い、信号の密度と一般化性能を向上させる。
• 自己評価、価値関数、ヒューリスティックルールといった内部的・外部的ガイダンスを組み合わせ、MCTS や Best-of-N、ビームサーチといった計画アルゴリズムを用いて、高品質な解候補を生成する検索戦略。
• ポリシー勾配法（例：PPO、DPO）と行動クラーニングを用いた学習で、検索によって生成されたデータに対してポリシーを微調整し、段階的なパフォーマンス向上を実現する。
• 世界モデルの統合により、実環境との即時の相互作用に依存せず、シミュレーテッド環境での計画と検索を可能にし、効率を向上させる。
• 連続的表現を用いて、画像などのマルチモーダル情報（例：画像）をチェーン・オブ・トゥオンクの推論に統合し、遅延を最小限に抑え、整合性を高める。

Figure 1: The overview of this roadmap including policy initialization, reward design, search and learning.

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて o1 の推論能力を再現するために必要な本質的コンポーネントは何か？
• RQ2 ポリシー初期化は、大規模言語モデルに人間らしい推論行動を効果的に組み込むにはどのように実現できるか？
• RQ3 複雑な推論タスクにおいて、信号の密度と一般化性能を最大化する報酬設計戦略は何か？
• RQ4 MCTS や Best-of-N といった検索戦略は、計算リソースのスケーリングに伴い、解の質にどのように寄与するか？
• RQ5 世界モデルは、実世界のエージェントデプロイメントに不可欠な、スケーラブルで安全かつ逆転可能な計画を実現するために、果たす役割は何か？

主な発見

• Marco-o1 や o1-coder といった既存のオープンソース o1 再現プロジェクトは、本ロードマップの具体的な実装例であることが示され、その汎用性が裏付けられた。
• 拒否サンプリングや MCTS から得たデータに対して DPO や SFT を適用することで、推論パフォーマンスが顕著に向上し、さらに蒸留を組み合わせることでさらなる向上が得られた。
• MCTS 中の自己フィードバックは、検索の効率性と解の質を向上させ、計画における内部フィードバックの価値を実証した。
• 標準的な答えがある推論タスクでは、結果ベースの報酬モデルが有効である一方、非推論的またはアライメントタスクでは、プロセスベースおよび学習済み報酬モデルが不可欠である。
• 世界モデルにより、実環境での行動前に相互作用をシミュレートできるため、安全で逆転可能な計画が可能となり、実世界へのデプロイメントに不可欠である。
• チェーン・オブ・トゥオンク推論にマルチモーダルデータ（例：画像）を統合すると、推論の長さと遅延が増加するため、連続的かつコンactな表現の導入が求められる。

Figure 3: The visualization of the interaction between agent and einvironment in reinforcement learning for LLMs. Left: traditional reinforcement learning. Right: reinforcement learning for LLMs. The figure only visualizes the step-level action for simplicity. In fact, the action of LLM can be eithe