[논문 리뷰] A Comparative Study on Reasoning Patterns of OpenAI's o1 Model

Siwei Wu, Zhongyuan Peng외 15명|arXiv (Cornell University)|2024. 10. 17.

Business Process Modeling and Analysis인용 수 10

한 줄 요약

이 논문은 OpenAI의 o1 모델을 수학, 코딩, 일반상식 과제에 걸쳐 여러 테스트 시점 계산 방법과 비교하고, 여섯 가지 o1 추론 패턴을 분석하며, 코드와 데이터를 공개한다.

ABSTRACT

Enabling Large Language Models (LLMs) to handle a wider range of complex tasks (e.g., coding, math) has drawn great attention from many researchers. As LLMs continue to evolve, merely increasing the number of model parameters yields diminishing performance improvements and heavy computational costs. Recently, OpenAI's o1 model has shown that inference strategies (i.e., Test-time Compute methods) can also significantly enhance the reasoning capabilities of LLMs. However, the mechanisms behind these methods are still unexplored. In our work, to investigate the reasoning patterns of o1, we compare o1 with existing Test-time Compute methods (BoN, Step-wise BoN, Agent Workflow, and Self-Refine) by using OpenAI's GPT-4o as a backbone on general reasoning benchmarks in three domains (i.e., math, coding, commonsense reasoning). Specifically, first, our experiments show that the o1 model has achieved the best performance on most datasets. Second, as for the methods of searching diverse responses (e.g., BoN), we find the reward models' capability and the search space both limit the upper boundary of these methods. Third, as for the methods that break the problem into many sub-problems, the Agent Workflow has achieved better performance than Step-wise BoN due to the domain-specific system prompt for planning better reasoning processes. Fourth, it is worth mentioning that we have summarized six reasoning patterns of o1, and provided a detailed analysis on several reasoning benchmarks.

연구 동기 및 목표

• 추론 시점 전략이 LLM 추론 성능에 미치는 영향을 이해하도록 동기를 부여한다.
• 다양한 추론 벤치마크에서 o1을 전통적 테스트-타임 컴퓨트 방법과 비교 평가한다.
• 작업별로 나타나는 여섯 가지 o1 추론 패턴(유형)을 특성화한다.
• 향후 기반 모델 및 추론 전략 개발에 도움을 주는 인사이트를 제공한다.

제안 방법

• GPT-4o를 백본으로 사용하여 네 가지 벤치마크에서 o1과 BoN, Step-wise BoN, Agent Workflow, Self-Refine를 비교한다.
• HotpotQA, Collie, USACO, AIME에서 네 가지 기준선과 네 가지 테스트 시점 계산 방법을 사용한다.
• 다수의 LLM(Llama3, Qwen, Claude, Yi) 간의 투표 방식을 통해 일반상식 데이터셋을 필터링한다.
• 여섯 가지 o1 추론 패턴(시스템적 분석, 방법 재사용, 분할과 정복, 자기-정제, 맥락 식별, 제약 강조)을 분석한다.
• 추론에서의 정확도/점수를 과제별로 계산 및 비교하고 Step-wise BoN에서 토큰 사용을 조사한다.
• 참조된 GitHub 저장소에서 코드와 데이터세트를 발표한다.

실험 결과

연구 질문

• RQ1 o1의 수학, 코딩, 일반상식 과제에서 BoN, Step-wise BoN, Agent Workflow, Self-Refine에 비해 성능은 어떠한가?
• RQ2 어떤 추론 시점 전략이 o1의 이점을 극대화하고, 어떤 한계가 있는가?
• RQ3 o1이 보이는 여섯 가지 추론 패턴은 무엇이며, 과제에 따라 어떻게 달라지는가?
• RQ4 과제 및 전략에 따라 추론에 사용되는 토큰 길이가 어떻게 달라지는가?
• RQ5 BoN 형식 방법에서 보상 모델과 탐색 공간의 크기가 효과에 미치는 제약은 무엇인가?

주요 결과

• OpenAI의 o1은 일반적으로 벤치마크에서 최상의 결과를 달성하며, 특히 수학 및 코딩 과제에서 두드러진다.
• Agent Workflow는 모든 벤치마크에서 성능을 크게 향상시키며, o1 수준에 근접하는 반면, BoN, Step-wise BoN, Self-Refine는 이익이 더 제한적이다.
• 여섯 가지 o1 추론 패턴: 시스템적 분석, 방법 재사용, 분할과 정복, 자기-정제, 맥락 식별, 제약 강조; DC와 SR이 전반적으로 가장 두드러진 패턴이다.
• Step-wise BoN은 긴 추론 사슬과 다수의 토큰을 생성하며, 이는 과제의 요구와 맥락 길이에 따라 효과가 달라진다.
• 보상 모델과 탐색 공간의 크기가 BoN-형 방법의 제약으로 작용하며, 사람 보상이 HotpotQA에서 현저한 향상을 보여준다.
• 추론 토큰 길이는 과제에 따라 다르며, 입력 프롬프트 길이와 단순히 상관관계가 있는 것은 아니며, 더 어려운 과제(코딩/수학)일수록 더 많은 추론 토큰이 필요하다.