[論文レビュー] SciCode: A Research Coding Benchmark Curated by Scientists

Minyang Tian, Lin Gao+28 more|arXiv (Cornell University)|Jul 18, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

SciCodeは、物理学、化学、生物学、材料科学など多様な自然科学分野にまたがる80の複雑な科学的プログラミング問題を科学者によってキュレートしたベンチマークであり、知識の想起、推論、コード合成を要する338の部分問題に分解されている。最も現実的とされる評価環境では、最高のモデルたるClaude3.5-Sonnetですら主問題の4.6%しか解けず、このベンチマークの厳密さと、現在の大規模言語モデルが科学的コード生成において抱える限界を浮き彫りにしている。

ABSTRACT

Since language models (LMs) now outperform average humans on many challenging tasks, it has become increasingly difficult to develop challenging, high-quality, and realistic evaluations. We address this issue by examining LMs' capabilities to generate code for solving real scientific research problems. Incorporating input from scientists and AI researchers in 16 diverse natural science sub-fields, including mathematics, physics, chemistry, biology, and materials science, we created a scientist-curated coding benchmark, SciCode. The problems in SciCode naturally factorize into multiple subproblems, each involving knowledge recall, reasoning, and code synthesis. In total, SciCode contains 338 subproblems decomposed from 80 challenging main problems. It offers optional descriptions specifying useful scientific background information and scientist-annotated gold-standard solutions and test cases for evaluation. Claude3.5-Sonnet, the best-performing model among those tested, can solve only 4.6% of the problems in the most realistic setting. We believe that SciCode demonstrates both contemporary LMs' progress towards becoming helpful scientific assistants and sheds light on the development and evaluation of scientific AI in the future.

研究の動機と目的

• 既存の言語モデルベンチマークの飽和を是正し、科学的コード生成のための高品質で現実的な評価スイートを構築すること。
• 実際の科学的研究タスクを反映させるべく、自然科学分野における実用的応用に即したベンチマークを開発すること。
• 既存の公開データセットとの重複を回避し、研究論文由来の問題をキュレートすることで、データ汚染やモデルの過学習を是とする。
• 知識の想起、推論、統合といった、複雑で多段階的な科学的問題における言語モデルの包括的機能を評価すること。
• 完全なアノテーションとテストケースを備えた、構造的で挑戦的なベンチマークを提供することで、科学的発見におけるAI研究を促進すること。

提案手法

• 物理学、化学、生物学、材料科学など16の自然科学分野から、分野専門家との協働により80の主問題をキュレートした。
• 各主問題を、個別の関数実装を要する複数の部分問題に分解し、モジュラーな評価と段階的推論を可能にした。
• 各部分問題について、詳細な科学的背景、ゴールドスタンダードの解答、複数のテストケースを提供。各分野で少なくとも2名の上級研究者がアノテート・検証を実施した。
• 背景情報の有無や、直前の部分問題の出力を条件として与える設定を切り替えられる評価設定を設計し、モデルの現実的状況下での頑健性を評価した。
• 既存の公開ベンチマークとの重複を排除し、科学的正確性を損なわない範囲でのみ複雑な問題を単純化することで、データセットの整合性を確保した。
• https://scicode-bench.github.io/ にリーダーボードとオープンソースのコードベースを実装し、再現可能な評価とコミュニティ参加を支援した。

Figure 1: A SciCode main problem is decomposed into multiple smaller and easier subproblems. Docstrings specify the requirements and input-output formats. When necessary, scientific background knowledge is provided, written by our scientist annotators. The full problem is shown in subsection A.3

実験結果

リサーチクエスチョン

• RQ1 最先端の言語モデルは、実際の研究から抽出された複雑で多段階的な問題に対して、正しい統合的科学的コードをどの程度生成できるか？
• RQ2 科学的背景知識の提供が、分野特化型のプログラミングタスクにおけるモデルのパフォーマンスにどのように影響するか？
• RQ3 特許権のあるモデルとオープンソースモデルは、科学的根拠に基づいた推論を要するコード生成タスクにおいて、どのように性能を発揮するか？
• RQ4 モデルアーキテクチャーや学習データが、事前学習中に見なかった新しい科学的問題への一般化能力に与える影響は何か？
• RQ5 高い科学的正確性と最小限のデータリークを備えたベンチマークは、AIが科学的発見を加速する役割を評価するための信頼できる代理指標として機能できるか？

主な発見

• 最もパフォーマンスの優れたモデル、Claude3.5-Sonnetですら、最も現実的とされる評価環境で主問題の4.6%しか解けず、改善の余地が著しく大きいことが示された。
• Claude3-OpusとGPT-4oも、それぞれ主問題の1.5%しか解けず、高水準の特許権モデルですら、複雑な科学的コード合成に苦戦していることが明らかになった。
• 最も優れたオープンソースモデル、Deepseek-Coder-v2でも主問題の3.1%しか解けず、科学的コーディングタスクにおける閉鎖型モデルとオープンソースモデルのパフォーマンス格差が顕著に表れた。
• その他のオープンソースモデル、Llama-3-70B-InstructやMixtral-8x7bは1%未満の問題を解いた。これは、現在のオープンソースモデルが科学的推論とコード生成において限界に直面していることを示している。
• 科学的背景情報やテストケースを含むベンチマークの設計は、評価の信頼性を著しく向上させ、モデルの失敗要因を細分化して分析可能にした。
• 実際の研究に根ざし、深い分野知識を要する問題の難易度の高さから、SciCodeが科学的AIを評価するための挑戦的で現実的なベンチマークであることが確認された。

(a)