[논문 리뷰] OffSeeker: Online Reinforcement Learning Is Not All You Need for Deep Research Agents

Yuhang Zhou, Kai Zheng외 5명|arXiv (Cornell University)|2026. 01. 26.

Machine Learning in Materials Science인용 수 0

한 줄 요약

OffSeeker는 완전히 오프라인 학습(SFT + DPO)이 심층 연구 에이전트에 대해 online-RL 시스템과 대등하거나 경쟁할 수 있음을, 오픈 소스 DeepForge 데이터 스위트와 8B 파라미터 모델의 도움으로 보여줍니다.

ABSTRACT

Deep research agents have shown remarkable potential in handling long-horizon tasks. However, state-of-the-art performance typically relies on online reinforcement learning (RL), which is financially expensive due to extensive API calls. While offline training offers a more efficient alternative, its progress is hindered by the scarcity of high-quality research trajectories. In this paper, we demonstrate that expensive online reinforcement learning is not all you need to build powerful research agents. To bridge this gap, we introduce a fully open-source suite designed for effective offline training. Our core contributions include DeepForge, a ready-to-use task synthesis framework that generates large-scale research queries without heavy preprocessing; and a curated collection of 66k QA pairs, 33k SFT trajectories, and 21k DPO pairs. Leveraging these resources, we train OffSeeker (8B), a model developed entirely offline. Extensive evaluations across six benchmarks show that OffSeeker not only leads among similar-sized agents but also remains competitive with 30B-parameter systems trained via heavy online RL.

연구 동기 및 목표

• 깊은 연구 에이전트 개발의 데이터 및 비용 장벽을 해결하기 위해 오픈 합성 프레임워크(DeepForge)를 제공한다.
• 오프라인 학습을 지원하기 위한 대규모 오픈 데이터세트를 공개한다(QA 쌍, SFT 트젝토리, DPO 쌍).
• 오프라인 학습으로 훈련된 8B-파라미터 모델(OffSeeker)이 심층 연구 벤치마크에서 경쟁력 있는 성능을 달성할 수 있음을 입증한다.
• 온라인 RL 비용을 정량화하고 오프라인 학습이 더 낮은 비용과 더 높은 재현성으로 강력한 결과를 달성할 수 있음을 보여준다.

제안 방법

• 실제 웹 상호작용을 통해 대규모 심층 연구 작업을 합성하는 엔드-투-엔드 경량 파이프라인으로 DeepForge를 도입한다.
• Ground-truth 답변을 갖춘 66k 개의 다단계 심층 검색 질문을 산출하는 DeepForge-QA를 만든다.
• 오프라인 학습을 위해 33k SFT 트젝토리와 21k DPO 선호 쌍을 수집한다.
• OffSeeker(8B)를 완전히 오프라인 감독 미세 조정으로 학습한 뒤 오프라인 Direct Preference Optimization(DPO)을 수행한다.
• LLM 심판을 사용한 pass@1 방식으로 여섯 개의 심층 연구 벤치마크(GAIA, BrowseComp, HLE, XBench-DeepSearch, WebWalkerQA)에서 평가한다.
• 오프라인 성능에 대한 컨텍스트 윈도우 크기, 모델 스케일링 및 데이터 품질의 영향을 분석한다.

Figure 1 : Overview of our DeepForge data synthesis pipeline. DeepForge comprises two main stages: (a) Scalable Entity Expansion and (b) Complex Question Generation. After synthesizing complex deep search tasks, we further deploy an agent framework to collect high-quality trajectories.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 오프라인 학습(SFT + DPO)이 심층 연구 에이전트의 온라인 RL 성능과 일치하거나 이를 능가할 수 있는가?
• RQ2 DeepForge를 통한 데이터 합성 품질이 오프라인 학습 결과에 어떤 영향을 미치는가?
• RQ3 장기 추론이 필요한 심층 연구 작업에서 컨텍스트 윈도우 크기의 영향은 무엇인가?
• RQ4 고품질 오프라인 데이터를 사용해 작게 학습된 오프라인 모델이 더 넓은 심층 연구 작업에 일반화할 수 있는가?

주요 결과

• OffSeeker는 동급 규모의 에이전트 중 최상위 성능을 달성하며 online RL로 학습된 30B-파라미터 시스템에 맞서고 있다.
• SFT + DPO를 이용한 오프라인 학습은 (GAIA, BrowseComp-zh, BrowseComp-en, HLE, XBench-DeepSearch, WebWalkerQA) 벤치마크 전반에서 일관된 이점을 보인다.
• 오프라인 방법으로 학습 비용은 거의 제로에 가깝고 온라인 RL과 관련된 API 비용 및 속도 제한 위험을 피한다.
• OffSeeker-8B(DPO)는 BrowseComp-zh에서 26.6, WebWalkerQA에서 61.7로 달성하며 더 큰 online-RL 시스템에 근접한다.
• DeepForge의 데이터 품질은 효율적인 학습을 가능하게 한다: 더 큰 SFT 데이터 세트가 정확도를 향상시키고, 오프라인 데이터는 학습과 함께 확장된다.
• 컨텍스트 윈도우 크기는 성능에 큰 영향을 미치며, 더 큰 맥락이 복잡한 다단계 작업에서 상당한 이점을 제공한다.

Figure 2 : Comparison of tool calling turns distribution between DeepForge -generated tasks and BrowseComp-en with DeepSeek-v3.1.