[论文解读] Agentic AI for Scientific Discovery: A Survey of Progress, Challenges, and Future Directions

Mourad Gridach, Jay Nanavati+3 more|ArXiv.org|Mar 12, 2025

Scientific Computing and Data Management被引用 10

一句话总结

本综述评估用于科学发现的具行动代理的 AI 系统，概述体系结构（自治与协同）、文献回顾的障碍、数据集、评估指标、挑战及未来方向。它涵盖化学、生物学、材料科学等领域及以上。

ABSTRACT

The integration of Agentic AI into scientific discovery marks a new frontier in research automation. These AI systems, capable of reasoning, planning, and autonomous decision-making, are transforming how scientists perform literature review, generate hypotheses, conduct experiments, and analyze results. This survey provides a comprehensive overview of Agentic AI for scientific discovery, categorizing existing systems and tools, and highlighting recent progress across fields such as chemistry, biology, and materials science. We discuss key evaluation metrics, implementation frameworks, and commonly used datasets to offer a detailed understanding of the current state of the field. Finally, we address critical challenges, such as literature review automation, system reliability, and ethical concerns, while outlining future research directions that emphasize human-AI collaboration and enhanced system calibration.

研究动机与目标

• Define agentic AI and its role in accelerating scientific discovery.
• Categorize autonomous and collaborative agentic AI systems and their domain applications.
• Identify datasets, tools, and evaluation metrics used in the field.
• Highlight challenges in literature review automation, reliability, and ethics.
• Propose future directions emphasizing human-AI collaboration and system calibration.

提出的方法

• 对现有具行动代理 AI 系统与框架（例如 Coscientist、ChemCrow、ProtAgents、LLaMP、Organa）进行评审与综合。
• 针对完全自治与人机协同系统的发展分类法。
• 评估文献综述框架（SciLitLLM、LitSearch、ResearchArena、CiteME）及其局限性。
• 汇编实现工具（AutoGen、MetaGPT、Letta、CAMEL、LangChain、AutoGPT）和数据集（LAB-Bench、MoleculeNet、ZINC、MPcules、AlphaFold、PubChem、ChEMBL）。
• 讨论评估指标，包括 NeurIPS 风格的论文评估、成功率与可用性指标。
• 综合挑战（可信度、伦理、潜在风险）与未来方向（校准、治理）。

实验结果

研究问题

• RQ1 在科学发现中，当前的具行动 AI 架构与框架有哪些？
• RQ2 哪些数据集、工具与指标支持对具行动 AI 系统的评估与基准测试？
• RQ3 限制系统性能与采用的主要挑战有哪些（文献综述、可靠性、伦理）？
• RQ4 人机协作与校准如何提高科学中具行动 AI 的可信度与影响？

主要发现

• 具行动 AI 系统能够将从构思到论文撰写的各个阶段实现自动化，在化学、生物学和材料科学等领域显示出进展。
• 文献综述仍是各框架的主要瓶颈，若干方法未能将想法可靠地建立在现有知识之上。
• 存在多种自治与协同框架，各自具备领域优势，但在可解释性与泛化性方面存在局限。
• 使用一系列工具（AutoGen、LangChain、Letta、CAMEL）和数据集（LAB-Bench、MoleculeNet、ZINC、AlphaFold）来开发和评估这些代理。
• 评估框架正在演变，越来越多地将 NeurIPS 风格的论文评估与可用性指标纳入，以评估科学产出和系统有用性。
• 未来方向强调人参与环路的方法、更好的校准技术，以及健全的治理，以确保可靠且符合伦理的自治科学发现。