[论文解读] Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation

Biqing Qi, Kaiyan Zhang+7 more|arXiv (Cornell University)|Jul 12, 2024

Topic Modeling被引用 4

一句话总结

本文通过时间划分的数据集对生物医学假设生成的大语言模型（LLMs）进行评估，以防止数据泄露。结果表明，LLMs 即使在零样本设置下也能生成新颖、有效且可验证的假设，多智能体协作与工具使用可提升假设的多样性与性能，但外部知识整合并不总是能改善结果。

ABSTRACT

The rapid growth of biomedical knowledge has outpaced our ability to efficiently extract insights and generate novel hypotheses. Large language models (LLMs) have emerged as a promising tool to revolutionize knowledge interaction and potentially accelerate biomedical discovery. In this paper, we present a comprehensive evaluation of LLMs as biomedical hypothesis generators. We construct a dataset of background-hypothesis pairs from biomedical literature, carefully partitioned into training, seen, and unseen test sets based on publication date to mitigate data contamination. Using this dataset, we assess the hypothesis generation capabilities of top-tier instructed models in zero-shot, few-shot, and fine-tuning settings. To enhance the exploration of uncertainty, a crucial aspect of scientific discovery, we incorporate tool use and multi-agent interactions in our evaluation framework. Furthermore, we propose four novel metrics grounded in extensive literature review to evaluate the quality of generated hypotheses, considering both LLM-based and human assessments. Our experiments yield two key findings: 1) LLMs can generate novel and validated hypotheses, even when tested on literature unseen during training, and 2) Increasing uncertainty through multi-agent interactions and tool use can facilitate diverse candidate generation and improve zero-shot hypothesis generation performance. However, we also observe that the integration of additional knowledge through few-shot learning and tool use may not always lead to performance gains, highlighting the need for careful consideration of the type and scope of external knowledge incorporated. These findings underscore the potential of LLMs as powerful aids in biomedical hypothesis generation and provide valuable insights to guide further research in this area.

研究动机与目标

• 严格评估 LLM 在零样本和少样本生物医学假设生成中的表现，解决先前研究中的数据污染问题。
• 基于出版日期，利用时间划分的数据集构建生物医学假设对，以确保测试集不可见。
• 开发并验证四种新颖指标——新颖性、相关性、重要性和可验证性——通过 LLM 和人工评估来评估假设质量。
• 探索通过工具使用和多智能体协作对假设生成多样性与性能的影响，以应对不确定性。
• 提供关于外部知识（例如少样本示例、工具）在何时以及如何增强或阻碍基于 LLM 的假设生成的实用见解。

提出的方法

• 从文献中构建生物医学假设数据集，根据出版日期划分为训练集、已见测试集和未见测试集，以防止数据泄露。
• 使用该数据集在零样本、少样本和微调设置下评估顶级指令微调 LLM。
• 设计一个具有不同角色（科学家、分析师、工程师、批评者）的多智能体框架，以模拟在不确定性下的协作假设生成。
• 在多智能体设置中集成工具使用（例如搜索、检索），以探索其对假设多样性和质量的影响。
• 提出四种由人工和 LLM 标注的指标——新颖性、相关性、重要性和可验证性——并使用结构化提示进行 GPT-4 评估。
• 使用早停策略对 65B 参数的 LLaMA 模型进行三轮微调，批量大小为 8，序列长度为 2048 个 token。

Figure 1: This illustration demonstrates a generated hypothesis using the fine-tuned 65B LLaMA model within our specially constructed dataset. The generated hypothesis closely aligns with the findings in existing literature published subsequent to the training sets.

实验结果

研究问题

• RQ1 LLMs 在训练期间未见过的文献上进行测试时，能否生成新颖且科学有效的生物医学假设？
• RQ2 结合不确定性探索的多智能体协作在多大程度上能提升零样本假设生成的性能？
• RQ3 通过少样本学习或工具使用整合外部知识，在多大程度上能提升假设质量？
• RQ4 基于 LLM 的指标与人工评估的假设质量之间相关性如何？
• RQ5 影响基于 LLM 的生物医学假设生成性能与可靠性的关键因素是什么？

主要发现

• LLMs 即使在训练期间未见过的文献上进行测试时，也能生成新颖且经过验证的假设，展现出强大的零样本能力。
• 结合工具使用的多智能体协作可提高假设的多样性并改善零样本性能，凸显不确定性探索的价值。
• 提出的四种指标——新颖性、相关性、重要性和可验证性——在 GPT-4 与人工评估之间表现出强相关性，验证了其在自动化评估中的适用性。
• 与零样本和少样本设置相比，对 65B 参数的 LLaMA 模型进行微调可提升假设生成性能。
• 通过少样本学习或工具使用整合外部知识并不总是能提升性能，表明必须谨慎选择知识类型和范围。
• 多智能体框架支持假设的迭代优化与协作分析，模拟了真实的科学发现过程。

(a) Scientific Discovery Process