[论文解读] CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark

Zachary S. Siegel, Sayash Kapoor+3 more|arXiv (Cornell University)|Sep 17, 2024

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

CORE-Bench 提供了一个包含 270 项计算可复现性任务的基准，源自计算机科学、社会科学和医学领域的 90 篇科学论文，用于评估 AI 代理在使用所提供代码和数据复现研究结果方面的能力。表现最佳的代理在最困难的任务级别上仅达到 21% 的准确率，凸显了在自动化科学可复现性方面仍有巨大提升空间。

ABSTRACT

AI agents have the potential to aid users on a variety of consequential tasks, including conducting scientific research. To spur the development of useful agents, we need benchmarks that are challenging, but more crucially, directly correspond to real-world tasks of interest. This paper introduces such a benchmark, designed to measure the accuracy of AI agents in tackling a crucial yet surprisingly challenging aspect of scientific research: computational reproducibility. This task, fundamental to the scientific process, involves reproducing the results of a study using the provided code and data. We introduce CORE-Bench (Computational Reproducibility Agent Benchmark), a benchmark consisting of 270 tasks based on 90 scientific papers across three disciplines (computer science, social science, and medicine). Tasks in CORE-Bench consist of three difficulty levels and include both language-only and vision-language tasks. We provide an evaluation system to measure the accuracy of agents in a fast and parallelizable way, saving days of evaluation time for each run compared to a sequential implementation. We evaluated two baseline agents: the general-purpose AutoGPT and a task-specific agent called CORE-Agent. We tested both variants using two underlying language models: GPT-4o and GPT-4o-mini. The best agent achieved an accuracy of 21% on the hardest task, showing the vast scope for improvement in automating routine scientific tasks. Having agents that can reproduce existing work is a necessary step towards building agents that can conduct novel research and could verify and improve the performance of other research agents. We hope that CORE-Bench can improve the state of reproducibility and spur the development of future research agents.

研究动机与目标

• 为解决科学研究所面临的计算可复现性这一关键但研究不足的挑战，即由于缺少依赖项、版本不匹配或环境问题，导致已发表结果难以复现。
• 开发一个反映真实世界科学工作流程的基准，要求代理安装依赖项、运行代码并从输出中提取答案，以模拟实际研究实践。
• 实现对 AI 代理在可复现性任务上的快速、可并行评估，与顺序执行相比，将评估时间从数天缩短至数小时。
• 评估通用型代理和特定任务代理在复现真实科学代码库结果方面的表现，使用 GPT-4o 和 GPT-4o-mini 作为基础模型。
• 通过首先掌握可复现性这一基础任务，推动开发能够验证和改进科学研究的 AI 代理。

提出的方法

• CORE-Bench 从三个学科领域的 90 篇真实科学论文中构建了 270 项任务，分为三个难度级别：低（仅语言）、中（视觉-语言）和高（复杂代码执行与推理）。
• 每项任务要求代理访问包含论文代码、数据、Dockerfile 和 README 的 CodeOcean 沙盒，随后在隔离环境中安装依赖项并执行代码。
• 评估系统自动化执行并比较代理输出与真实结果，通过快速、可并行化的流水线验证正确性。
• 代理的评估基于其在成功执行代码后正确回答所有任务特定问题的能力，成功定义为对所有查询均给出准确回答。
• 基线代理包括通用型代理 AutoGPT 和一种名为 CORE-Agent 的特定任务代理，两者均使用 GPT-4o 和 GPT-4o-mini 进行测试，以评估性能差异。
• 该基准包含错误恢复和网络搜索功能，以模拟真实世界中的调试场景，如解决缺失模块或查找外部库。

Figure 1 : Overview of CORE-Bench . Each task in CORE-Bench requires an agent to reproduce the results of a research paper given its repository. The agent must install libraries, packages, and dependencies and run the code. If the code runs successfully, the agent needs to search through all outputs

实验结果

研究问题

• RQ1 当前 AI 代理在仅使用所提供代码和数据的情况下，能在多大程度上复现已发表科学研究所得结果？
• RQ2 通用型代理（如 AutoGPT）与专为计算可复现性设计的任务特定代理相比，性能如何？
• RQ3 在复现科学代码时，AI 代理执行的主要失败模式是什么，例如依赖项解析、环境设置或代码理解？
• RQ4 任务难度级别（低、中、高）如何影响代理的准确率？在更高难度级别下会浮现哪些瓶颈？
• RQ5 可扩展、可并行化的评估框架是否能显著减少在可复现性任务上对 AI 代理进行基准测试所需的时间，与顺序执行相比？

主要发现

• 表现最佳的代理（使用 GPT-4o 的 CORE-Agent）在最困难任务级别上仅达到 21% 的准确率，表明在自动化科学可复现性方面仍有巨大提升空间。
• 通用型代理（如 AutoGPT）表现显著不佳，尤其在高难度任务上，难以解决依赖项问题或正确理解复杂代码库。
• 主要失败模式是无法解析缺失的 Python 模块（例如 'network_diffusion'），即使经过多次网络搜索，凸显了代理在推理和工具使用方面的局限性。
• 许多代理因依赖项安装错误、环境配置错误或错误读取配置文件（如 'config.ini'）而无法正确理解或执行代码。
• 通过在所有任务上实现并行执行，评估系统将代理评估时间从数天缩短至数小时，证明了其在后续基准测试中的可扩展性。
• 即使代理成功运行了代码，它们也常常无法从输出中正确提取或理解结果，表明在下游推理和答案提取方面存在明显差距。

Figure 2 : Files and folders in each CodeOcean capsule. Each capsule contains a Readme, Dockerfile, and instructions on how to use Docker, which we selectively provide to the agent depending on the difficulty of the task.