[论文解读] Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System

Haoyang Su, Renqi Chen+11 more|arXiv (Cornell University)|Oct 12, 2024

Complex Systems and Decision Making被引用 4

一句话总结

本文提出 VirSci，一种基于大语言模型的多智能体系统，通过模拟协作科研团队来生成新颖且具有高影响力的科研创意。通过构建具备真实科学家背景的智能体、支持团队讨论，并引入新颖性评估与自我评审机制，VirSci 在对齐度上比单智能体方法提升 13.8%，在潜在影响力上提升 44.1%，表明多智能体协作能显著增强科研创意生成能力。

ABSTRACT

The rapid advancement of scientific progress requires innovative tools that can accelerate knowledge discovery. Although recent AI methods, particularly large language models (LLMs), have shown promise in tasks such as hypothesis generation and experimental design, they fall short of replicating the collaborative nature of real-world scientific practices, where diverse experts work together in teams to tackle complex problems. To address the limitations, we propose an LLM-based multi-agent system, i.e., Virtual Scientists (VirSci), designed to mimic the teamwork inherent in scientific research. VirSci organizes a team of agents to collaboratively generate, evaluate, and refine research ideas. Through comprehensive experiments, we demonstrate that this multi-agent approach outperforms the state-of-the-art method in producing novel scientific ideas. We further investigate the collaboration mechanisms that contribute to its tendency to produce ideas with higher novelty, offering valuable insights to guide future research and illuminating pathways toward building a robust system for autonomous scientific discovery. The code is available at https://github.com/open-sciencelab/Virtual-Scientists.

研究动机与目标

• 为解决单智能体 AI 系统在复现现实世界科研协作方面的局限性，而此类协作依赖于多样化且协调的团队。
• 开发一种系统，通过大语言模型智能体模拟从团队组建到摘要生成的完整科研创意生成协作流程。
• 评估多智能体协作，特别是具有结构化角色与反馈机制的协作，是否能提升生成科研创意的新颖性与影响力。
• 研究智能体团队中涌现的社会行为是否映射真实科研协作模式。
• 基于历史与当代论文数据库，为评估 AI 生成科研创意的新颖性提供客观基准。

提出的方法

• VirSci 通过基于研究背景与合作网络的检索增强生成（RAG）框架，构建真实科学家的数字孪生体，组织由大语言模型智能体组成的团队。
• 该系统遵循五步流程：合作者选择、主题讨论、创意生成、新颖性评估与摘要生成，各阶段均支持迭代优化。
• 团队讨论机制支持智能体之间的交互与内部优化对话，通过结构化协作提升创意多样性与质量。
• 新颖性通过投票机制评估，依据创意与过往论文的差异度、与当前研究趋势的契合度以及潜在研究影响力进行判断。
• 自我评审机制允许团队负责人重新评估最终摘要的新颖性，若必要可触发新一轮讨论以提升输出质量。
• 系统采用自适应讨论轮次机制，团队负责人根据进展动态调整各阶段的讨论轮次，从而提升效率与输出质量。

实验结果

研究问题

• RQ1 多智能体大语言模型系统是否能在生成新颖且具有影响力的科研创意方面超越单智能体系统？
• RQ2 结构化的团队动态（如基于角色的协作与新颖性评估）如何影响生成创意的质量？
• RQ3 智能体团队中涌现的社会行为在多大程度上反映了真实科研协作模式？
• RQ4 与固定轮次讨论相比，自适应讨论长度是否能同时提升效率与新颖性？
• RQ5 邀请外部智能体参与团队讨论在多大程度上提升了创意的多样性与原创性？

主要发现

• VirSci 在对齐当代研究趋势方面，相比最先进单智能体方法，平均提升 13.8%。
• 系统在潜在影响力方面实现平均 44.1% 的提升，展现出更强的创新潜力。
• 引入邀请机制引入外部科学家后，创意新颖性显著提升，4人与8人团队的 ON 得分分别提高 0.10 与 0.11。
• 新颖性评估步骤显著提升性能，尤其在大型团队中，有效防止创意重叠并确保原创性持续评估。
• 自我评审机制显著提升最终输出质量，使 4 人与 8 人团队的 ON 得分分别提升 0.14 与 0.38。
• 自适应讨论模式相比固定轮次设置，使 4 人与 8 人团队的推理成本分别降低 28.5% 与 22.5%，同时 ON 得分分别提升 0.23 与 0.38。