[論文レビュー] CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark

Zachary S. Siegel, Sayash Kapoor+3 more|arXiv (Cornell University)|Sep 17, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

CORE-Bench は、コンピュータ科学、社会科学、医学の分野における 90 範の学術論文から抽出した 270 個の計算的再現性タスクを含むベンチマークを提供し、提供されたコードとデータを用いて AI エージェントの研究結果の再現能力を評価する。最も優れたエージェントでも最も難しいタスクレベルではたった 21% の正確性にとどまり、科学的再現性の自動化における大きな改善余地が浮き彫りになった。

ABSTRACT

AI agents have the potential to aid users on a variety of consequential tasks, including conducting scientific research. To spur the development of useful agents, we need benchmarks that are challenging, but more crucially, directly correspond to real-world tasks of interest. This paper introduces such a benchmark, designed to measure the accuracy of AI agents in tackling a crucial yet surprisingly challenging aspect of scientific research: computational reproducibility. This task, fundamental to the scientific process, involves reproducing the results of a study using the provided code and data. We introduce CORE-Bench (Computational Reproducibility Agent Benchmark), a benchmark consisting of 270 tasks based on 90 scientific papers across three disciplines (computer science, social science, and medicine). Tasks in CORE-Bench consist of three difficulty levels and include both language-only and vision-language tasks. We provide an evaluation system to measure the accuracy of agents in a fast and parallelizable way, saving days of evaluation time for each run compared to a sequential implementation. We evaluated two baseline agents: the general-purpose AutoGPT and a task-specific agent called CORE-Agent. We tested both variants using two underlying language models: GPT-4o and GPT-4o-mini. The best agent achieved an accuracy of 21% on the hardest task, showing the vast scope for improvement in automating routine scientific tasks. Having agents that can reproduce existing work is a necessary step towards building agents that can conduct novel research and could verify and improve the performance of other research agents. We hope that CORE-Bench can improve the state of reproducibility and spur the development of future research agents.

研究の動機と目的

• 出版された結果が欠落した依存関係、バージョンの不一致、環境の問題などにより再現不可能な科学的研究における計算的再現性という、重要だが未だ十分に検討されていない課題に取り組むこと。
• 実際の研究プロセスを模倣する、現実の科学的ワークフローを反映したベンチマークを開発すること。エージェントは依存関係のインストール、コードの実行、出力からの答えの抽出を必要とし、実際の研究実践を再現する。
• AI エージェントの再現性タスクに対する評価を高速かつ並列実行可能にする。逐次実行と比較して、評価時間を数日から数時間に短縮する。
• GPT-4o および GPT-4o-mini を基盤モデルとして用い、一般用途およびタスク特化型エージェントの、実際の科学的リポジトリからの結果再現性能を評価すること。
• まず再現性という基盤的なタスクを習得することで、科学的研究の検証および改善が可能な AI エージェントの開発を促進すること。

提案手法

• CORE-Bench は、コンピュータ科学、社会科学、医学の分野にまたがる 90 範の学術論文から、3 つの難易度（低：言語のみ、中：視覚言語、高：複雑なコード実行および推論）に分けた 270 個のタスクを構築する。
• 各タスクでは、エージェントが論文のコード、データ、Dockerfile、README を含む CodeOcean カプセルにアクセスし、依存関係をインストールしてサンドボックス環境でコードを実行する必要がある。
• 評価システムは、エージェントの出力と正解結果を自動で比較し、高速かつ並列実行可能なパイプラインにより正しさを検証する。
• エージェントは、コード実行に成功した後、タスク固有の質問に正しく答えられるかどうかで評価され、すべての質問に対して正確な回答が得られた場合に成功と定義される。
• ベースラインエージェントには、一般用途の AutoGPT と、計算的再現性に特化した CORE-Agent が含まれ、GPT-4o および GPT-4o-mini を用いて性能差を評価した。
• 実際のデバッグを模倣するため、エラー回復機能およびウェブ検索機能をベンチマークに含み、たとえば欠落したモジュールの解決や外部ライブラリの特定を想定している。

Figure 1 : Overview of CORE-Bench . Each task in CORE-Bench requires an agent to reproduce the results of a research paper given its repository. The agent must install libraries, packages, and dependencies and run the code. If the code runs successfully, the agent needs to search through all outputs

実験結果

リサーチクエスチョン

• RQ1 現在の AI エージェントは、提供されたコードとデータのみを用いて、出版済みの科学的研究の結果をどれほど再現できるのか？
• RQ2 計算的再現性に特化したエージェントと、一般用途のエージェント（例：AutoGPT）の性能は、どのように比較されるのか？
• RQ3 科学的コードを再現する際の主な失敗モードは何か。たとえば、依存関係の解決、環境設定、コードの解釈の失敗など。
• RQ4 タスクの難易度（低、中、高）がエージェントの正確性に与える影響は何か。特に高難易度で顕在するボトルネックは何か。
• RQ5 スケーラブルで並列実行可能な評価フレームワークは、逐次実行と比較して、AI エージェントの再現性タスク評価に要する時間を著しく短縮できるか？

主な発見

• 最も優れたエージェント（GPT-4o を使用した CORE-Agent）でも、最も難しいタスクレベルでは 21% の正確性にとどまり、科学的再現性の自動化における大きな改善余地が示された。
• 一般用途エージェント（例：AutoGPT）は、特に高難易度タスクで著しく困難を示し、依存関係の問題を解決できなかったり、複雑なコードベースを正しく解釈できなかったりした。
• 主な失敗モードとして、たとえば 'network_diffusion' のような欠落した Python モジュールを、複数回のウェブ検索後でも解決できないことが判明し、エージェントの推論力およびツール使用の限界が浮き彫りになった。
• 多くのエージェントが、誤った依存関係のインストール、環境の誤設定、または 'config.ini' のような設定ファイルの誤読により、コードの正しく解釈または実行できなかった。
• すべてのタスクで並列実行を可能にしたことで、評価時間を数日から数時間に短縮した。これにより、将来のベンチマークに向けたスケーラビリティが実証された。
• エージェントがコードを正常に実行できた場合でも、出力から正しい結果を抽出または解釈できず、下流の推論および答え抽出の分野にギャップがあることが判明した。

Figure 2 : Files and folders in each CodeOcean capsule. Each capsule contains a Readme, Dockerfile, and instructions on how to use Docker, which we selectively provide to the agent depending on the difficulty of the task.