[論文レビュー] Search-o1: Agentic Search-Enhanced Large Reasoning Models

Xiaoxi Li, Guanting Dong+6 more|arXiv (Cornell University)|Jan 9, 2025

Semantic Web and Ontologies被引用数 3

ひとこと要約

Search-o1 はエージェント的検索拡張生成機構と Reason-in-Documents モジュールを組み込み、長段階推論中に外部知識を動的に取得・精練して、大規模推論モデルの整合性と信頼性を向上させる。

ABSTRACT

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce extbf{Search-o1}, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at \url{https://github.com/sunnynexus/Search-o1}.

研究の動機と目的

• 拡張推論シーケンス中の大規模推論モデルにおける知識不足を是正する。
• 推論セッション内で必要に応じてトリガーされる外部知識取得を実現する。
• 長く取得された文書によるノイズと整合性の低下を、専用の精練モジュールで緩和する。
• 科学・数学・コード・オープンドメインQAベンチマークにおける複雑な推論タスクの性能向上を示す。

提案手法

• 知識ギャップが検出されたときに検索クエリを生成するエージェント的検索拡張生成(RAG)機構を導入する。
• 各検索クエリごとにトップk文書を取得し、推論チェーン内の特定のマーク付きトークン間に注入する。
• retrieved文書を分析し、推論フローへ再挿入する前に精練された知識を生成するReason-in-Documentsモジュールを追加する。
• タスク指示・質問・取得文書を条件として、推論ステップと最終回答の結合分布として推論プロセスを形式化する。
• 二段階の精練を提供する： (i) 取得文書についての中間推論を生成、 (ii) 後続推論を導く精練知識を生成する。

実験結果

リサーチクエスチョン

• RQ1 マルチステップ推論中に外部知識を自動的かつオンデマンドで取得して、整合性を崩さずに行えるか。
• RQ2 エージェント的検索は、知識を一度だけ取得する標準RAGよりも優れているか、または各ステップの知識ニーズに適応できるか。
• RQ3 Reason-in-Documentsモジュールはノイズを減らし、取得情報の推論チェーンへの統合を改善できるか。
• RQ4 Search-o1 が複雑な推論領域およびオープンドメインQAベンチマークに与える影響はどれほどか。

主な発見

• Search-o1 は科学・数学・コーディングの複雑な推論タスクで強力な性能を達成する。
• Search-o1 は六つのオープンドメインQAベンチマークでも結果を改善する。
• エージェント的RAGとReason-in-Documentsは外部知識を取り込んでも推論の整合性を維持する。
• このアプローチは複雑な推論タスクにおける信頼性とLRMの適用性を向上させる。
• フレームワークは複数のドメインでの効率性とスケーラビリティを示す。