[论文解读] Emergent autonomous scientific research capabilities of large language models

Daniil A. Boiko, Robert MacKnight+1 more|arXiv (Cornell University)|Apr 11, 2023

Topic Modeling被引用 74

一句话总结

该论文提出一个智能代理系统，整合多个大型语言模型以自主设计、规划并执行科学实验，包括催化偶联反应，并讨论安全考量。

ABSTRACT

Transformer-based large language models are rapidly advancing in the field of machine learning research, with applications spanning natural language, biology, chemistry, and computer programming. Extreme scaling and reinforcement learning from human feedback have significantly improved the quality of generated text, enabling these models to perform various tasks and reason about their choices. In this paper, we present an Intelligent Agent system that combines multiple large language models for autonomous design, planning, and execution of scientific experiments. We showcase the Agent's scientific research capabilities with three distinct examples, with the most complex being the successful performance of catalyzed cross-coupling reactions. Finally, we discuss the safety implications of such systems and propose measures to prevent their misuse.

研究动机与目标

• 激发并展示大型语言模型在自主科学研究方面的能力。
• 展示智能代理如何编排多个LLM实现端到端的实验设计与执行。
• 展示在化学及相关领域的应用示例。
• 讨论安全风险并提出防止误用的缓解策略。

提出的方法

• 提出一个协调多个大型语言模型的智能代理系统。
• 演示科学实验的自主设计、规划与执行。
• 展示三个示例任务，包括复杂的催化偶联反应。
• 讨论安全影响并提出防止滥用的预防措施。

实验结果

研究问题

• RQ1 多LLM的自主编排是否能够在无人工干预的情况下实现端到端的科学实验？
• RQ2 基于LLM的代理在化学实验设计与执行方面的能力与局限性是什么？
• RQ3 来自自主科学研究代理的安全风险有哪些，如何加以缓解？

主要发现

• 一个智能代理系统在跨学科科学任务中展示了自主设计、规划和执行。
• 最复杂的示例通过自主规划展示了成功的催化偶联反应。
• 该工作讨论了安全影响并提出防止自主研究系统被滥用的措施。