[论文解读] Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation

Steffen Eger, Cao Yong+12 more|ArXiv.org|Feb 7, 2025

Scientific Computing and Data Management被引用 3

一句话总结

本综述回顾了大语言模型如何用于协助文献检索、实验规划、内容生成（文本与多模态）以及AI辅助同行评审，重点讨论数据集、方法、评估与伦理问题。

ABSTRACT

With the advent of large multimodal language models, science is now at a threshold of an AI-based technological transformation. An emerging ecosystem of models and tools aims to support researchers throughout the scientific lifecycle, including (1) searching for relevant literature, (2) generating research ideas and conducting experiments, (3) producing text-based content, (4) creating multimodal artifacts such as figures and diagrams, and (5) evaluating scientific work, as in peer review. In this survey, we provide a curated overview of literature representative of the core techniques, evaluation practices, and emerging trends in AI-assisted scientific discovery. Across the five tasks outlined above, we discuss datasets, methods, results, evaluation strategies, limitations, and ethical concerns, including risks to research integrity through the misuse of generative models. We aim for this survey to serve both as an accessible, structured orientation for newcomers to the field, as well as a catalyst for new AI-based initiatives and their integration into future ``AI4Science'' systems.

研究动机与目标

• 在科学进入AI驱动转型之际，动员将AI4Science工具映射到整个研究周期的必要性。
• 总结AI辅助的文献检索、实验、内容生成、多模态内容与同行评审的数据集、方法、结果与局限。
• 强调在每个AI辅助科学任务中的伦理问题、治理与负责任使用。
• 提供横向视角，指导研究人员和政策制定者在科学工作流程中采用AI工具。

提出的方法

• 采用叙述性调查方法来综合科学生命周期中的尖端AI应用。
• 在每个任务中提供数据源、方法与结果的结构化概述，且不设固定纳入标准。
• 讨论AI工具在科学中的领域适用性、局限性与未来方向。
• 为每个任务设立专门的伦理问题小节，并设有单独的伦理章节。
• 汇集并整合跨多个AI子领域的相关数据集、基准和工具集。

Figure 2. Overview of the hypothesis generation, idea generation and automatic experimentation process.

实验结果

研究问题

• RQ1 目前在科学文献检索与摘要方面使用的AI方法和工具有哪些？
• RQ2 AI模型在研究工作流中的实验设计、数据生成和自主实验方面如何应用？
• RQ3 单模态与多模态AI内容生成（文本、图形、幻灯片）在科学实践中的能力与局限性是什么？
• RQ4 AI辅助同行评审的发展趋势及其伦理与治理影响如何？
• RQ5 用以评估AI辅助科学任务的数据集、基准与评估指标有哪些，存在的差距在哪里？

主要发现

• AI工具越来越多地嵌入到文献检索、摘要与比较中，支持情境感知的检索与结构化洞见。
• AI辅助的实验设计与点子生成在推进，系统目标在于自动化研究周期的部分环节。
• 多模态内容生成与理解（图形、表格、幻灯片）是活跃领域，能够自动创建与解读科学视觉内容。
• AI辅助同行评审与自动反馈正在探索中，关注科学严谨性与论断核验。
• 伦理关切如错误信息、偏见、评估质量与治理是核心议题，在整份综述中贯穿讨论。

Figure 3. Overview of the scientific figure generation process.