[论文解读] Competitive Programming with Large Reasoning Models

OpenAI, :+24 more|ArXiv.org|Feb 3, 2025

Multi-Criteria Decision Making被引用 5

一句话总结

强化学习驱动的大型推理模型（o1、o1-ioi、o3）显著提升竞赛编程表现，超越领域特定的手工策略，并在 IOI 2024 获得金牌，在 Codeforces 排名中处于前列。

ABSTRACT

We show that reinforcement learning applied to large language models (LLMs) significantly boosts performance on complex coding and reasoning tasks. Additionally, we compare two general-purpose reasoning models - OpenAI o1 and an early checkpoint of o3 - with a domain-specific system, o1-ioi, which uses hand-engineered inference strategies designed for competing in the 2024 International Olympiad in Informatics (IOI). We competed live at IOI 2024 with o1-ioi and, using hand-crafted test-time strategies, placed in the 49th percentile. Under relaxed competition constraints, o1-ioi achieved a gold medal. However, when evaluating later models such as o3, we find that o3 achieves gold without hand-crafted domain-specific strategies or relaxed constraints. Our findings show that although specialized pipelines such as o1-ioi yield solid improvements, the scaled-up, general-purpose o3 model surpasses those results without relying on hand-crafted inference heuristics. Notably, o3 achieves a gold medal at the 2024 IOI and obtains a Codeforces rating on par with elite human competitors. Overall, these results indicate that scaling general-purpose reinforcement learning, rather than relying on domain-specific techniques, offers a robust path toward state-of-the-art AI in reasoning domains, such as competitive programming.

研究动机与目标

• 推动使用大型推理模型来应对复杂、客观可评估的编码问题。
• 将通用的 RL 驱动模型与领域特定、手工设计的推理策略进行比较。
• 在多个竞赛编程基准（CodeForces、IOI）及真实世界的软件任务上评估性能。
• 评估扩大 RL 训练规模与依赖人工设计的测试时启发式策略对前沿结果的影响。

提出的方法

• 使用强化学习训练 OpenAI o1，以提升编码与推理能力，并在推理阶段实现代码执行。
• 对一个变体 o1-ioi 进行微调，加入额外的面向编码的 RL 和针对 IOI-风格任务的领域特定测试时策略。
• 通过在接近官方约束的条件下模拟 CodeForces 比赛并使用嵌入进行污染性检查来评估。
• 与 OpenAI o3 的早期检查点进行比较，以研究在没有手工设计的测试时启发式策略下的端到端 RL。
• 在 IOI 2024 题目下，分别在官方网站规则和放宽提交限制下分析表现，以隔离测试时策略的影响。
• 结合 SWE-bench 验证的真实世界编码任务与 HackerRank Astra，测试推理能力的泛化性。

实验结果

研究问题

• RQ1 扩大的强化学习规模是否能提升编码和推理性能，超越手工设计的推理流水线？
• RQ2 领域特定的测试时策略相比端到端 RL 在竞赛编程任务中的表现如何？
• RQ3 像 o3 这样的大型推理模型在没有手工启发式策略的情况下，是否能够在标准竞赛约束下达到金牌级别？
• RQ4 在竞赛编程中的改进是否会转化到真实世界的软件工程基准？

主要发现

• o1-ioi 在加入额外 RL 和 IOI 特定测试时策略后，较 o1 提升，达到 CodeForces 评分 1807（第 62 百分位）和 2214（第 98 百分位），并具有完整的测试时策略。
• o3 在更大规模的 RL 计算下训练，超越 o1-ioi，达到 CodeForces 评分 2724（99.8 百分位）和在标准提交限制下的 395.64 IOI 分（金牌阈值约 360）。
• 在 IOI 2024 实况中，o1-ioi 得分 213 分（第 49 百分位），共提交 50 次；在放宽限制下，362.14 分将超过金牌阈值。
• o3 在测试时推理中展示了自主自我提升（例如有时生成穷举验证以验证输出），无需人工设计的启发式。
• 在 SWE-bench 和 Astra 的真实世界编码任务中，以推理为重点的模型表现出显著提升：o1-preview 相较于 GPT-4o 的 pass@1 提升约 9.98 个百分点，o1 经 RL 提升到 63.92% 的 pass@1，且 o3 相较于 o1 在 SWE-bench 上提升了 22.8%。