[论文解读] DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents

Peter Jansen, Marc-Alexandre Côté+6 more|arXiv (Cornell University)|Jun 10, 2024

Semantic Web and Ontologies被引用 4

一句话总结

DiscoveryWorld 是一个基于文本的模拟虚拟环境，旨在训练和评估 AI 代理在 120 项多样化、逼真的任务中实现端到端科学发现的能力，涵盖放射性同位素测年、火箭科学和蛋白质组学等主题。该环境支持假设生成、实验设计、数据分析和结论推导，并配备自动评估指标，用于衡量任务完成度、程序性操作和所发现知识的水平——表明即使表现强劲的基线代理也面临显著挑战，说明该环境真实捕捉了科学发现中的新颖性与复杂性。

ABSTRACT

Automated scientific discovery promises to accelerate progress across scientific domains. However, developing and evaluating an AI agent's capacity for end-to-end scientific reasoning is challenging as running real-world experiments is often prohibitively expensive or infeasible. In this work we introduce DISCOVERYWORLD, the first virtual environment for developing and benchmarking an agent's ability to perform complete cycles of novel scientific discovery. DISCOVERYWORLD contains a variety of different challenges, covering topics as diverse as radioisotope dating, rocket science, and proteomics, to encourage development of general discovery skills rather than task-specific solutions. DISCOVERYWORLD itself is an inexpensive, simulated, text-based environment (with optional 2D visual overlay). It includes 120 different challenge tasks, spanning eight topics each with three levels of difficulty and several parametric variations. Each task requires an agent to form hypotheses, design and run experiments, analyze results, and act on conclusions. DISCOVERYWORLD further provides three automatic metrics for evaluating performance, based on (a) task completion, (b) task-relevant actions taken, and (c) the discovered explanatory knowledge. We find that strong baseline agents, that perform well in prior published environments, struggle on most DISCOVERYWORLD tasks, suggesting that DISCOVERYWORLD captures some of the novel challenges of discovery, and thus that DISCOVERYWORLD may help accelerate near-term development and assessment of scientific discovery competency in agents. Code available at: www.github.com/allenai/discoveryworld

研究动机与目标

• 为解决开发和评估通用科学发现代理所面临的挑战，这些挑战因真实世界实验的高成本和复杂性而受阻。
• 创建一个可扩展、低成本的仿真环境，支持完整的科学推理循环——包括假设形成、实验、分析和结论推导——而无需依赖物理实验室。
• 通过覆盖八个多样化科学领域并逐步提升难度，鼓励发展可迁移的发现技能，而非仅针对特定任务的解决方案。
• 提供一个标准化基准，配备自动评估指标，用于多维度衡量代理性能：任务完成度、相关操作和解释性知识发现。
• 实现 AI 代理与人类科学家在相同任务上的零样本评估，提供性能对比，揭示当前 AI 在科学推理方面的能力局限。

提出的方法

• DiscoveryWorld 是一个基于文本的模拟环境，可选配 2D 视觉叠加层，使代理能够导航、与物体交互、使用科学仪器并进行观察。
• 该环境包含 120 项挑战任务，覆盖八个科学主题——每项主题包含三个难度等级和参数化变化——基于真实科学领域，如蛋白质组学和核衰变。
• 任务要求代理执行端到端的发现过程：形成假设、设计并运行实验、分析结果，并推导出解释性知识，且不提供预设的解决方案路径。
• 采用三部分自动评估框架，基于以下三方面衡量性能：(1) 任务完成度，(2) 执行的相关操作数量，(3) 所发现解释性知识的质量。
• 该环境设计为既真实又简化，使代理能够应用科学知识和常识性推理，并以 Apache-2.0 许可证发布，以确保可复现性和社区使用。
• 招募了 11 名博士/硕士水平的科学家参与人类实验，在受控条件下完成相同任务，其表现通过人工评分对假设和证据进行评估，并结合自动化指标评估任务完成度和程序性操作。

Figure 1: DiscoveryWorld is a virtual environment for developing and evaluating discovery agents, with challenge tasks covering a broad variety of different topics such as those shown above.

实验结果

研究问题

• RQ1 基于文本的模拟虚拟环境能否有效支持并评估 AI 代理在多样化科学领域中实现端到端科学发现的能力？
• RQ2 在需要完整发现周期的任务中，经过先前环境预训练的强基线代理在 DiscoveryWorld 中的成功率如何？
• RQ3 人类科学家在 DiscoveryWorld 任务中的表现与零样本 AI 代理相比如何，特别是在假设生成和知识发现方面？
• RQ4 评估指标（任务完成度、程序性操作和所发现知识）是否能提供可靠且具信息量的代理能力评估？
• RQ5 一个统一的、通用的发现环境能否促进可迁移发现技能的发展，而非仅限于特定任务的优化？

主要发现

• 在先前环境中表现优异的强基线代理在大多数 DiscoveryWorld 任务中表现显著不佳，表明该环境真实捕捉了科学发现中的新颖且具挑战性的方面。
• 评估框架成功衡量了代理在三个维度上的表现：任务完成度、相关操作数量以及所发现解释性知识的质量，其中后者对真正的科学洞察力尤为敏感。
• 人类科学家在大多数任务中的平均得分高于基线代理，尤其在发现解释性知识方面表现更优，表明当前 AI 代理在假设生成和推理能力方面仍显不足。
• 通过在八个主题中引入参数化变化和多级难度，确保代理必须超越狭窄模式进行泛化，从而促进可迁移发现技能的发展。
• 尽管环境为虚拟形式，但任务基于真实的科学问题，使代理能够有意义地应用领域知识和常识性推理。
• 由于 Windows 平台保存失败，导致少量数据丢失，但整体数据集仍具稳健性和代表性，适用于评估。

Figure 2: DiscoveryWorld tasks require end-to-end scientific discovery, from ideation, hypothesis formation, experiment design, data collection and analysis, forming conclusions, and acting on results. Distractors and task solutions that provide only descriptive discoveries require agents to frequen