[논문 리뷰] Search-o1: Agentic Search-Enhanced Large Reasoning Models

Xiaoxi Li, Guanting Dong외 6명|arXiv (Cornell University)|2025. 01. 09.

Semantic Web and Ontologies인용 수 3

한 줄 요약

Search-o1은 에이전트적 검색-증강 생성 메커니즘과 Reason-in-Documents 모듈을 통합하여 장기 단계 추론 중 외부 지식을 동적으로 검색하고 정제하여, 대형 추론 모델의 일관성과 신뢰성을 향상시킵니다.

ABSTRACT

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce extbf{Search-o1}, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at \url{https://github.com/sunnynexus/Search-o1}.

연구 동기 및 목표

• 확장된 추론 시퀀스 동안 대형 추론 모델의 지식 부족 문제를 해결한다.
• 추론 세션 내에서 반복적으로 트리거될 수 있는 주문형 외부 지식 검색을 가능하게 한다.
• 전용 정제 모듈을 통해 길게 검색된 문서에서 발생하는 잡음과 일관성 저하를 완화한다.
• 과학, 수학, 코딩 및 오픈 도메인 QA 벤치마크에서 복합 추론 작업의 성능 향상을 입증한다.

제안 방법

• 지식 격차가 감지될 때 검색 쿼리를 생성하는 에이전틱 Retrieval-Augmented Generation (RAG) 메커니즘을 도입한다.
• 각 검색 쿼리에 대해 상위 k개의 문서를 검색하고 추론 체인에서 특별히 표시된 토큰 사이에 주입한다.
• 검색된 문서를 분석하고 추론 흐름에 다시 삽입하기 전에 정제된 지식을 생성하는 Reason-in-Documents 모듈을 추가한다.
• 작업 지시, 질문 및 검색된 문서를 조건으로 하는 추론 단계와 최종 답변에 대한 결합 분포로 추론 프로세스를 형식화한다.
• 두 단계의 정제를 제공한다: (i) 검색된 문서에 대한 중간 추론 생성, (ii) 후속 추론을 안내하기 위한 정제된 지식 생성.

실험 결과

연구 질문

• RQ1 다단계 추론 중 일관성을 해치지 않으면서 외부 지식을 자동으로 필요 시에 온디맨드로 검색하는 방법은?
• RQ2 에이전틱 검색이 한 번만 지식을 검색하거나 단계별 지식 필요에 적응하지 못하는 표준 RAG보다 우수한가?
• RQ3 별도의 Reason-in-Documents 모듈이 잡음을 줄이고 검색된 정보를 추론 체인에 더 잘 통합하는 데 기여하는가?
• RQ4 Search-o1가 복합 추론 도메인과 오픈 도메인 QA 벤치마크에 미치는 영향은 무엇인가?

주요 결과

• Search-o1은 과학, 수학, 코딩의 복합 추론 과제에서 강한 성능을 달성한다.
• Search-o1은 또한 여섯 개의 오픈 도메인 QA 벤치마크에서 결과를 향상시킨다.
• Reason-in-Documents를 사용한 에이전틱 RAG가 외부 지식을 통합하면서도 추론의 일관성을 유지한다.
• 이 접근법은 복합 추론 작업에서 LRMs의 신뢰성과 적용 가능성을 향상시켰음을 보여준다.
• 프레임워크는 여러 도메인에서 효율성과 확장성을 보여준다.