[論文レビュー] DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents

Peter Jansen, Marc-Alexandre Côté+6 more|arXiv (Cornell University)|Jun 10, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

DiscoveryWorldは、ラジオアイソトープ年代測定、ロケット工学、プロテオミクスなどを含む120の多様で現実的なかつての科学的課題をカバーする、テキストベースのシミュレーテッド仮想環境であり、AIエージェントのエンドツーエンドの科学的発見を訓練および評価することを目的としている。この環境では仮説の生成、実験設計、データ分析、結論の導出をサポートし、タスク完了、手順的行動、発見された知識の自動評価メトリクスを備えている。強力なベースラインエージェントですら困難を示すことは、この環境が新規の発見的課題を的確に捉えていることを示している。

ABSTRACT

Automated scientific discovery promises to accelerate progress across scientific domains. However, developing and evaluating an AI agent's capacity for end-to-end scientific reasoning is challenging as running real-world experiments is often prohibitively expensive or infeasible. In this work we introduce DISCOVERYWORLD, the first virtual environment for developing and benchmarking an agent's ability to perform complete cycles of novel scientific discovery. DISCOVERYWORLD contains a variety of different challenges, covering topics as diverse as radioisotope dating, rocket science, and proteomics, to encourage development of general discovery skills rather than task-specific solutions. DISCOVERYWORLD itself is an inexpensive, simulated, text-based environment (with optional 2D visual overlay). It includes 120 different challenge tasks, spanning eight topics each with three levels of difficulty and several parametric variations. Each task requires an agent to form hypotheses, design and run experiments, analyze results, and act on conclusions. DISCOVERYWORLD further provides three automatic metrics for evaluating performance, based on (a) task completion, (b) task-relevant actions taken, and (c) the discovered explanatory knowledge. We find that strong baseline agents, that perform well in prior published environments, struggle on most DISCOVERYWORLD tasks, suggesting that DISCOVERYWORLD captures some of the novel challenges of discovery, and thus that DISCOVERYWORLD may help accelerate near-term development and assessment of scientific discovery competency in agents. Code available at: www.github.com/allenai/discoveryworld

研究の動機と目的

• 実験の高コストと複雑さが原因で、汎用的な科学的発見エージェントの開発と評価が阻害されているという課題に対処する。
• 物理的研究所に依存せずに、仮説形成、実験、分析、結論の全サイクルをサポートする、スケーラブルで低コストのシミュレーション環境を構築する。
• 8つの多様な科学的分野をカバーし、難易度を段階的に上げることで、タスク固有の解決策ではなく、一般化可能な発見スキルの開発を促進する。
• タスク完了、関連する行動、説明的知識の発見という複数の次元でエージェントのパフォーマンスを測定できる、標準化されたベンチマークと自動評価メトリクスを提供する。
• AIエージェントと人間の科学者が同一の課題に対してゼロショット評価が可能であり、パフォーマンスの直接比較と、AIの科学的推論における現在の限界の理解を可能にする。

提案手法

• DiscoveryWorldは、オプションの2Dビジュアルオーバーレイを備えたテキストベースのシミュレーテッド環境であり、エージェントがナビゲートし、物体と相互作用し、科学的器具を使用し、観察を行うことを可能にする。
• 8つの科学的トピックにまたがる120のチャレンジ課題が存在し、それぞれが3段階の難易度とパラメトリックな変異を備えている。これらの課題は、プロテオミクスや核崩壊といった現実の科学的分野に基づいている。
• 課題ではエージェントがエンドツーエンドの発見を実行する必要がある：仮説の形成、実験の設計と実行、結果の分析、そして事前定義された解決経路なしに説明的知識を導出する。
• 3段階の自動評価フレームワークにより、(1)タスク完了、(2)タスク関連行動の数、(3)発見された説明的知識の質に基づいてパフォーマンスを測定する。
• 環境は現実的ではあるが簡素化されており、エージェントが科学的知識と一般的常識を適用できるように設計されており、再現可能性およびコミュニティ利用を目的としてApache-2.0ライセンスで公開されている。
• 11名の博士号・修士号保持者（Ph.D./M.Sc.）の科学者が参加し、制御された条件下で同じ課題を完了した。パフォーマンスは仮説と証拠の手動スコアリング、およびタスク完了と手順的行動の自動メトリクスにより評価された。

Figure 1: DiscoveryWorld is a virtual environment for developing and evaluating discovery agents, with challenge tasks covering a broad variety of different topics such as those shown above.

実験結果

リサーチクエスチョン

• RQ1 テキストベースのシミュレーテッド仮想環境は、多様な科学的分野におけるAIエージェントのエンドツーエンドの科学的発見を、効果的に支援および評価できるか？
• RQ2 事前に他の環境で微調整された強力なベースラインエージェントは、完全な発見サイクルを要するDiscoveryWorldの課題でどの程度成功するか？
• RQ3 人間の科学者がDiscoveryWorldの課題で示すパフォーマンスは、ゼロショットAIエージェントと比べて、特に仮説生成と知識発見の面でどのように異なるか？
• RQ4 タスク完了、手順的行動、発見された知識という評価メトリクスは、エージェントの能力を信頼性があり情報豊富に評価できるか？
• RQ5 統合的で汎用的な発見環境は、タスク固有の最適化ではなく、移譲可能な発見スキルの開発を促進できるか？

主な発見

• 事前に他の環境で良好なパフォーマンスを示す強力なベースラインエージェントが、大多数のDiscoveryWorld課題で著しく困難を示すことは、この環境が科学的発見の新規で挑戦的な側面を的確に捉えていることを示している。
• 評価フレームワークは、タスク完了、関連する行動、発見された説明的知識という3つの次元でエージェントのパフォーマンスを効果的に測定できており、特に真の科学的洞察に敏感である。
• 人間の科学者が大多数の課題でベースラインエージェントよりも高い平均スコアを達成し、特に説明的知識の発見において顕著であった。これは、現在のAIエージェントが依然として仮説生成と推論能力に欠けていることを示唆している。
• パラメトリックな変異と8つのトピックにわたる複数の難易度レベルの組み合わせにより、エージェントは狭いパターンにとどまらず、一般化能力を発揮する必要があり、移譲可能な発見スキルの発展を促進する。
• 仮想環境であるがゆえに、課題は現実の科学的問題に基づいており、エージェントが分野知識と一般的常識の応用を意味のある形で行える。
• Windowsプラットフォームでのセーブ障害により、わずかなデータ損失が発生したが、全体としてのデータセットは評価目的において堅牢で代表的である。

Figure 2: DiscoveryWorld tasks require end-to-end scientific discovery, from ideation, hypothesis formation, experiment design, data collection and analysis, forming conclusions, and acting on results. Distractors and task solutions that provide only descriptive discoveries require agents to frequen