[논문 리뷰] CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark

Zachary S. Siegel, Sayash Kapoor외 3명|arXiv (Cornell University)|2024. 09. 17.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

CORE-Bench는 컴퓨터 과학, 사회과학, 의학 분야의 90篇의 과학 논문에서 유래한 270개의 계산적 재현 가능성 작업을 포함하는 벤치마크를 제공하며, 제공된 코드와 데이터를 사용하여 AI 에이전트가 연구 결과를 재현할 수 있는 능력을 평가한다. 가장 성능이 뛰어난 에이전트도 가장 어려운 작업 수준에서 뿐 21%의 정확도를 기록하여 과학적 재현 가능성 자동화 분야에 여전히 큰 개선 여지가 있음을 시사한다.

ABSTRACT

AI agents have the potential to aid users on a variety of consequential tasks, including conducting scientific research. To spur the development of useful agents, we need benchmarks that are challenging, but more crucially, directly correspond to real-world tasks of interest. This paper introduces such a benchmark, designed to measure the accuracy of AI agents in tackling a crucial yet surprisingly challenging aspect of scientific research: computational reproducibility. This task, fundamental to the scientific process, involves reproducing the results of a study using the provided code and data. We introduce CORE-Bench (Computational Reproducibility Agent Benchmark), a benchmark consisting of 270 tasks based on 90 scientific papers across three disciplines (computer science, social science, and medicine). Tasks in CORE-Bench consist of three difficulty levels and include both language-only and vision-language tasks. We provide an evaluation system to measure the accuracy of agents in a fast and parallelizable way, saving days of evaluation time for each run compared to a sequential implementation. We evaluated two baseline agents: the general-purpose AutoGPT and a task-specific agent called CORE-Agent. We tested both variants using two underlying language models: GPT-4o and GPT-4o-mini. The best agent achieved an accuracy of 21% on the hardest task, showing the vast scope for improvement in automating routine scientific tasks. Having agents that can reproduce existing work is a necessary step towards building agents that can conduct novel research and could verify and improve the performance of other research agents. We hope that CORE-Bench can improve the state of reproducibility and spur the development of future research agents.

연구 동기 및 목표

• 공개된 결과가 누락된 종속성, 버전 불일치, 환경 문제로 인해 재현되지 않는 문제로 인해 여전히 다루지 않은 채로 남아 있는 계산적 재현 가능성 문제를 해결하기 위해.
• 실제 과학적 워크플로우를 반영하는 벤치마크를 개발하여, 에이전트가 종속성을 설치하고 코드를 실행하며 출력에서 결과를 추출하는 것을 요구함으로써 실제 연구 실천 방식을 모방하기 위해.
• AI 에이전트의 재현 가능성 작업 평가를 빠르고 병렬 처리 가능한 방식으로 수행하여 순차적 실행 대비 평가 시간을 수일에서 수시간으로 단축시키기 위해.
• 실제 과학 리포지터리에서의 결과 재현 능력을 평가하기 위해 일반 목적 및 과제 전용 에이전트의 성능을 평가하며, 기반 모델로 GPT-4o와 GPT-4o-mini를 사용한다.
• 기초 작업인 재현 가능성의 습득을 통해 먼저 과학 연구의 검증 및 향상 능력을 갖춘 AI 에이전트의 개발을 촉진하기 위해.

제안 방법

• CORE-Bench는 컴퓨터 과학, 사회과학, 의학 분야의 90편의 실제 과학 논문에서 유래한 270개의 과제를 구성하며, 세 가지 난이도 수준으로 나뉜다: 저도(언어 중심), 중도(시각-언어), 고도(복잡한 코드 실행 및 추론).
• 각 과제는 에이전트가 논문의 코드, 데이터, Dockerfile, README 파일을 포함한 CodeOcean 캡슐에 액세스하여 종속성을 설치하고 사전 환경에서 코드를 실행하도록 요구한다.
• 평가 시스템은 에이전트 출력을 기준 결과와 자동으로 비교하여 정확성을 검증하는 빠르고 병렬 처리 가능한 파이프라인을 통해 실행 및 평가를 자동화한다.
• 에이전트는 코드 실행에 성공한 후 과제에 특화된 질문들에 대해 정확하게 답변할 수 있는 능력으로 평가되며, 모든 질문에 대해 정확한 응답이 이루어지는 것으로 성공을 정의한다.
• 기준 에이전트로는 일반 목적의 AutoGPT와 과제 전용 에이전트인 CORE-Agent를 포함하며, GPT-4o와 GPT-4o-mini를 사용하여 성능 차이를 평가한다.
• 실제 디버깅을 시뮬레이션하기 위해 오류 복구 및 웹 검색 기능을 포함하여, 예를 들어 누락된 모듈나 외부 라이브러리의 위치를 찾는 데에 활용한다.

Figure 1 : Overview of CORE-Bench . Each task in CORE-Bench requires an agent to reproduce the results of a research paper given its repository. The agent must install libraries, packages, and dependencies and run the code. If the code runs successfully, the agent needs to search through all outputs

실험 결과

연구 질문

• RQ1 현재 AI 에이전트들이 제공된 코드와 데이터만으로 공개된 과학 연구 결과를 얼마나 잘 재현할 수 있는가?
• RQ2 일반 목적의 에이전트인 AutoGPT의 성능은 계산적 재현 가능성 전용으로 설계된 과제 전용 에이전트와 비교해 볼 때 어떻게 다른가?
• RQ3 과학적 코드를 재현할 때 AI 에이전트 실행의 주요 실패 원인은 무엇인가? 예를 들어 종속성 해결, 환경 설정, 코드 해석 등의 문제이다.
• RQ4 과제의 난이도 수준(저도, 중도, 고도)이 에이전트의 정확도에 어떤 영향을 미치며, 높은 수준에서 어떤 제약 요소가 나타나는가?
• RQ5 확장 가능하고 병렬 처리 가능한 평가 프레임워크는 순차적 실행 대비 AI 에이전트의 재현 가능성 과제 평가에 소요되는 시간을 크게 줄일 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 에이전트, 즉 GPT-4o를 기반으로 한 CORE-Agent는 가장 어려운 과제 수준에서 21%의 정확도를 기록하여 과학적 재현 가능성 자동화 분야에 여전히 큰 개선 여지가 있음을 시사한다.
• 일반 목적의 에이전트인 AutoGPT는 특히 고난이도 과제에서 심각한 어려움을 겪었으며, 종속성 문제를 해결하거나 복잡한 코드베이스를 정확히 해석하지 못했다.
• 주요 실패 원인 중 하나는 웹 검색을 여러 차례 수행한 후에도 'network_diffusion'과 같은 누락된 파이썬 모듈을 해결하지 못한 것으로, 에이전트의 추론 능력과 도구 사용 능력의 한계를 드러냈다.
• 많은 에이전트들이 잘못된 종속성 설치, 환경 설정 오류, 또는 'config.ini'와 같은 구성 파일을 잘못 읽는 등 코드의 해석이나 실행을 제대로 하지 못했다.
• 모든 과제에 대해 병렬 실행이 가능하도록 함으로써 평가 시스템은 에이전트 평가 시간을 수일에서 수시간으로 단축시켰으며, 향후 벤치마크에 대한 확장성의 가능성을 입증했다.
• 에이전트가 코드를 성공적으로 실행한 경우에도 출력에서 정확한 결과를 추출하거나 해석하지 못해 후속 추론 및 결과 추출 능력에 격차가 있음을 시사한다.

Figure 2 : Files and folders in each CodeOcean capsule. Each capsule contains a Readme, Dockerfile, and instructions on how to use Docker, which we selectively provide to the agent depending on the difficulty of the task.