[论文解读] A Comparative Study on Reasoning Patterns of OpenAI's o1 Model

Siwei Wu, Zhongyuan Peng+15 more|arXiv (Cornell University)|Oct 17, 2024

Business Process Modeling and Analysis被引用 10

一句话总结

本论文将 OpenAI 的 o1 模型与多种测试时计算方法在数学、编程和常识任务上进行比较，分析六种 o1 推理模式，并发布代码与数据。

ABSTRACT

Enabling Large Language Models (LLMs) to handle a wider range of complex tasks (e.g., coding, math) has drawn great attention from many researchers. As LLMs continue to evolve, merely increasing the number of model parameters yields diminishing performance improvements and heavy computational costs. Recently, OpenAI's o1 model has shown that inference strategies (i.e., Test-time Compute methods) can also significantly enhance the reasoning capabilities of LLMs. However, the mechanisms behind these methods are still unexplored. In our work, to investigate the reasoning patterns of o1, we compare o1 with existing Test-time Compute methods (BoN, Step-wise BoN, Agent Workflow, and Self-Refine) by using OpenAI's GPT-4o as a backbone on general reasoning benchmarks in three domains (i.e., math, coding, commonsense reasoning). Specifically, first, our experiments show that the o1 model has achieved the best performance on most datasets. Second, as for the methods of searching diverse responses (e.g., BoN), we find the reward models' capability and the search space both limit the upper boundary of these methods. Third, as for the methods that break the problem into many sub-problems, the Agent Workflow has achieved better performance than Step-wise BoN due to the domain-specific system prompt for planning better reasoning processes. Fourth, it is worth mentioning that we have summarized six reasoning patterns of o1, and provided a detailed analysis on several reasoning benchmarks.

研究动机与目标

• 理解推理时策略如何影响大语言模型推理性能的理解
• 在多样化的推理基准上评估 o1 与传统测试时计算方法的对比
• 描述 o1 在各任务中展现的推理模式（类型）
• 为未来基础模型和推理策略的发展提供指导性见解

提出的方法

• 以 GPT-4o 作为骨干，将 o1 与 BoN、Step-wise BoN、Agent Workflow 和 Self-Refine 在四个基准上进行比较。
• 在 HotpotQA、Collie、USACO 和 AIME 上使用四个基线和四种测试时计算方法。
• 通过对多模型（Llama3、Qwen、Claude、Yi）投票的方式对常识数据集进行筛选。
• 分析六种 o1 推理模式：系统性分析、方法复用、分而治之、自我精炼、情境识别、强调约束。
• 计算并比较各任务的准确率/分数，并考察 Step-wise BoN 的令牌使用。
• 在相关 GitHub 仓库发布代码和数据集。

实验结果

研究问题

• RQ1 o1 在数学、编程和常识任务中相对于 BoN、Step-wise BoN、Agent Workflow 以及 Self-Refine 的表现如何？
• RQ2 哪些推理时策略能最大化 o1 的优势，又有哪些局限？
• RQ3 o1 展现的六种推理模式是什么，它们在不同任务上有何差异？
• RQ4 不同任务和策略下推理所用的令牌量有何差异？
• RQ5 BoN 风格方法中，奖励模型和搜索空间的有效性受哪些因素制约？

主要发现

• OpenAI 的 o1 在大多数基准上通常取得最佳结果，特别是在数学和编程任务中。
• Agent Workflow 在所有基准上显著提升性能，接近 o1 的水平；而 BoN、Step-wise BoN 及 Self-Refine 的提升有限。
• 识别出六种 o1 推理模式：系统性分析、方法复用、分而治之、自我精炼、情境识别、强调约束；其中 DC（分而治之）与 SR（自我精炼）在总体上最为突出。
• Step-wise BoN 产生较长的推理链和大量令牌，其有效性取决于任务需求与上下文长度。
• 奖励模型和搜索空间大小在 BoN 型方法中有显著约束作用，人工奖励在 HotpotQA 上显示出显著改进。
• 推理令牌长度随任务变化而变化，并非仅与输入提示长度呈简单相关；较难的任务（编程/数学）往往需要更多的推理令牌。