[논문 리뷰] DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents

Peter Jansen, Marc-Alexandre Côté외 6명|arXiv (Cornell University)|2024. 06. 10.

Semantic Web and Ontologies인용 수 4

한 줄 요약

DiscoveryWorld는 방사성동위원소 연대 측정, 로켓 과학, 단백질체학 등 다양한 주제를 포함하는 120개의 다양한 실제 과학 작업을 통해 종단 간 과학적 발견을 훈련하고 평가하기 위해 설계된 텍스트 기반 시뮬레이션 가상 환경이다. 이 환경은 가설 생성, 실험 설계, 데이터 분석, 결론 도출을 지원하며, 작업 완료, 절차적 동작, 발견된 지식에 대한 자동 평가 지표를 제공한다. 심지어 강력한 기준 모델이라도 어려움을 겪는 것으로 나타나, 이 환경이 새로운 과학적 발견 과제를 잘 반영하고 있음을 시사한다.

ABSTRACT

Automated scientific discovery promises to accelerate progress across scientific domains. However, developing and evaluating an AI agent's capacity for end-to-end scientific reasoning is challenging as running real-world experiments is often prohibitively expensive or infeasible. In this work we introduce DISCOVERYWORLD, the first virtual environment for developing and benchmarking an agent's ability to perform complete cycles of novel scientific discovery. DISCOVERYWORLD contains a variety of different challenges, covering topics as diverse as radioisotope dating, rocket science, and proteomics, to encourage development of general discovery skills rather than task-specific solutions. DISCOVERYWORLD itself is an inexpensive, simulated, text-based environment (with optional 2D visual overlay). It includes 120 different challenge tasks, spanning eight topics each with three levels of difficulty and several parametric variations. Each task requires an agent to form hypotheses, design and run experiments, analyze results, and act on conclusions. DISCOVERYWORLD further provides three automatic metrics for evaluating performance, based on (a) task completion, (b) task-relevant actions taken, and (c) the discovered explanatory knowledge. We find that strong baseline agents, that perform well in prior published environments, struggle on most DISCOVERYWORLD tasks, suggesting that DISCOVERYWORLD captures some of the novel challenges of discovery, and thus that DISCOVERYWORLD may help accelerate near-term development and assessment of scientific discovery competency in agents. Code available at: www.github.com/allenai/discoveryworld

연구 동기 및 목표

• 실제 실험에 비해 비용과 복잡성이 높아 일반 과학적 발견 에이전트 개발과 평가가 어려운 문제를 해결하기 위해.
• 물리적 실험실에 의존하지 않고도 과학적 추론 주기 전체를 지원하는 확장 가능하고 저비용의 시뮬레이션 환경을 만들기 위해.
• 다양한 과학 분야를 포함하고 점차 어려워지는 난이도로 구성하여, 과제에 특화된 해결책이 아닌 일반화된 발견 능력을 기르는 데 기여하기 위해.
• 작업 완료, 관련 동작, 설명 가능한 지식 발견이라는 다차원 평가를 가능하게 하는 표준화된 벤치마크와 자동 평가 지표를 제공하기 위해.
• 동일한 과제에서 AI 에이전트와 인간 과학자 간의 제로샷 평가를 가능하게 하여 성능 비교와 현재 AI의 과학적 추론 능력 한계를 직접적으로 분석하기 위해.

제안 방법

• DiscoveryWorld는 옵션으로 2D 시각적 오버레이를 제공하는 텍스트 기반 시뮬레이션 환경으로, 에이전트가 환경을 탐색하고 물체와 상호작용하며 과학 기구를 사용하고 관찰할 수 있다.
• 이 환경은 단백질체학과 핵 붕괴 등 실제 과학 분야에 기반한 8개의 과학 주제에 걸쳐 120개의 과제를 포함하며, 각 과제는 세 가지 난이도 수준과 매개변수 조정 가능성을 포함한다.
• 과제는 에이전트가 사전에 지정된 해결 경로 없이 종단 간 발견 과정을 수행하도록 요구한다: 가설 수립, 실험 설계 및 실행, 결과 분석, 설명 가능한 지식 도출.
• 세 부분으로 구성된 자동 평가 프레임워크는 (1) 과제 완료, (2) 과제 관련 동작 수, (3) 발견된 설명 가능한 지식의 질을 기반으로 성능을 측정한다.
• 환경는 현실적으로 구현되었지만 단순화되어 있어 에이전트가 과학적 지식과 일반 지각 능력을 적용할 수 있도록 설계되었으며, 재현 가능성과 커뮤니티 활용을 위해 Apache-2.0 라이선스 하에 공개된다.
• 11명의 박사/석사 과학자 참여자가 통제된 조건에서 동일한 과제를 수행하였으며, 가설과 증거에 대한 수동 평가와 과제 완료 및 절차적 동작에 대한 자동 평가 지표를 통해 성능을 평가하였다.

Figure 1: DiscoveryWorld is a virtual environment for developing and evaluating discovery agents, with challenge tasks covering a broad variety of different topics such as those shown above.

실험 결과

연구 질문

• RQ1 텍스트 기반 시뮬레이션 가상 환경이 다양한 과학 분야에서 종단 간 과학적 발견을 효과적으로 지원하고 평가할 수 있는가?
• RQ2 기존 환경에서 훈련된 강력한 기준 모델이 종단 간 발견 주기를 요구하는 DiscoveryWorld 과제에서 얼마나 성공하는가?
• RQ3 인간 과학자와 제로샷 AI 에이전트 간의 성능 비교에서, 특히 가설 수립과 지식 발견 측면에서 인간의 성능은 어떻게 다른가?
• RQ4 과제 완료, 절차적 동작, 발견된 지식 등의 평가 지표가 에이전트 능력을 신뢰할 수 있고 유의미하게 평가하는 데에 적합한가?
• RQ5 통합된 일반 목적의 발견 환경이 과제에 특화된 최적화가 아닌 이식 가능한 발견 능력의 개발을 장려할 수 있는가?

주요 결과

• 이전 환경에서 잘 작동하는 강력한 기준 모델도 대부분의 DiscoveryWorld 과제에서 크게 어려움을 겪는 것으로 나타나, 이 환경이 과학적 발견의 새로운 도전 과제를 잘 반영하고 있음을 시사한다.
• 평가 프레임워크는 과제 완료, 관련 동작, 발견된 설명 가능한 지식이라는 세 가지 차원에서 에이전트 성능을 성공적으로 측정하였으며, 특히 진정한 과학적 통찰을 반영하는 데 민감한 편이다.
• 인간 과학자들은 대부분의 과제에서 기준 모델보다 높은 평균 점수를 기록했으며, 특히 설명 가능한 지식 발견 측면에서 두드러진 성과를 보였다. 이는 현재 AI 에이전트가 여전히 강력한 가설 수립 및 추론 능력을 갖추지 못하고 있음을 시사한다.
• 매개변수 조정 가능성을 포함한 다양한 난이도 수준과 8개의 주제가 결합되어 있어, 에이전트가 좁은 패tern에 국한되지 않고 일반화된 능력을 기르도록 유도한다.
• 가상 환경임에도 불구하고 과제는 실제 과학 문제에 기반하여, 에이전트가 영역 지식과 일반 지각 추론을 의미 있게 적용할 수 있도록 한다.
• Windows 플랫폼에서 저장 실패로 인해 소량의 데이터 손실이 발생했지만, 전체 데이터셋은 평가 목적에 있어 탄탄하고 대표성을 유지하고 있다.

Figure 2: DiscoveryWorld tasks require end-to-end scientific discovery, from ideation, hypothesis formation, experiment design, data collection and analysis, forming conclusions, and acting on results. Distractors and task solutions that provide only descriptive discoveries require agents to frequen