[论文解读] Large Language Models are Zero Shot Hypothesis Proposers

Biqing Qi, Kaiyan Zhang+5 more|arXiv (Cornell University)|Nov 10, 2023

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本文研究了大型语言模型（LLMs）是否能在零样本设置下，利用生物医学文献生成科学上有效且新颖的假设。研究构建了一个时间划分的数据集用于训练和未见数据的测试，采用具有角色特异性协作的多智能体框架（分析师、工程师、科学家、批评者），发现LLMs能够提出未经训练但经过验证的假设——尤其在提高不确定性时表现更优，表明LLMs可作为科学发现的催化剂。

ABSTRACT

Significant scientific discoveries have driven the progress of human civilisation. The explosion of scientific literature and data has created information barriers across disciplines that have slowed the pace of scientific discovery. Large Language Models (LLMs) hold a wealth of global and interdisciplinary knowledge that promises to break down these information barriers and foster a new wave of scientific discovery. However, the potential of LLMs for scientific discovery has not been formally explored. In this paper, we start from investigating whether LLMs can propose scientific hypotheses. To this end, we construct a dataset consist of background knowledge and hypothesis pairs from biomedical literature. The dataset is divided into training, seen, and unseen test sets based on the publication date to control visibility. We subsequently evaluate the hypothesis generation capabilities of various top-tier instructed models in zero-shot, few-shot, and fine-tuning settings, including both closed and open-source LLMs. Additionally, we introduce an LLM-based multi-agent cooperative framework with different role designs and external tools to enhance the capabilities related to generating hypotheses. We also design four metrics through a comprehensive review to evaluate the generated hypotheses for both ChatGPT-based and human evaluations. Through experiments and analyses, we arrive at the following findings: 1) LLMs surprisingly generate untrained yet validated hypotheses from testing literature. 2) Increasing uncertainty facilitates candidate generation, potentially enhancing zero-shot hypothesis generation capabilities. These findings strongly support the potential of LLMs as catalysts for new scientific discoveries and guide further exploration.

研究动机与目标

• 调查大型语言模型（LLMs）是否能在无需微调的零样本设置下生成科学上有效的假设。
• 应对由于生物医学文献爆炸式增长所导致的信息孤岛和科学发现缓慢的问题。
• 构建一个按时间划分的背景知识与假设配对数据集，以实现对零样本评估的严格检验。
• 设计并评估一个具有角色特异性智能体（分析师、工程师、科学家、批评者）的多智能体协作框架，以提升假设生成质量。
• 开发并验证四种新型评估指标——新颖性、相关性、重要性和可验证性，适用于LLM和人工评估。

提出的方法

• 从文献中构建生物医学数据集（2000年1月至2023年9月），按发表日期划分为训练集（2023年1月之前）、可见集（2023年1月至7月）和未见测试集（2023年8月至9月）。
• 使用未见测试集，在零样本、少样本和微调设置下评估顶级指令微调LLMs（包括GPT-4和微调后的LLaMA）。
• 设计一个多智能体协作框架，角色包括：分析师（提取关键概念）、工程师（执行系统性文献检索）、科学家（形成假设）和批评者（评估并优化假设）。
• 在智能体之间实施迭代反馈回路以优化假设，协作通过结构化提示和角色特异性指令引导。
• 使用GPT-4作为裁判，通过标准化、分步提示确保一致性，定义四种评估指标——新颖性、相关性、重要性和可验证性。
• 通过不确定性调节（例如，通过多智能体协作）探索其对零样本生成中假设多样性与质量的影响。

Figure 1 : Illustrating an generated hypothesis utilizing the fine-tuned 65B LLaMA within our constructed datasets, which closely match the findings in existing literature.

实验结果

研究问题

• RQ1 LLMs是否能在未接触测试数据的零样本设置下生成科学上有效且新颖的假设？
• RQ2 在假设生成过程中增加不确定性，如何影响生成假设的多样性与质量？
• RQ3 与单智能体提示相比，多智能体协作框架在多大程度上提升了假设质量？
• RQ4 不同LLM架构和微调策略在零样本假设生成性能方面有何差异？
• RQ5 外部工具（如检索）和少样本示例对模型在零样本假设生成中泛化能力有何影响？

主要发现

• LLMs能够在零样本设置下生成未经训练但经过验证的科学假设，表明其作为科学发现催化剂的潜力。
• 通过多智能体协作提高不确定性，可增强假设生成的多样性并提升零样本性能，表明不确定性有助于激发创造力。
• 使用外部工具和少样本微调可能降低假设生成质量，因减少了不确定性，限制了模型的探索空间。
• 多智能体框架通过实现基于角色特异性贡献和反馈回路的迭代优化，显著提升了假设质量。
• 所提出的评估框架，使用GPT-4对新颖性、相关性、重要性和可验证性进行评分，为评估LLM生成的假设提供了可靠且一致的方法。
• 微调后的65B LLaMA模型成功生成了与现有文献发现高度匹配的假设，验证了该框架的有效性。

Figure 2 : The iterative experimental loop of scientific discovery: observations and data accumulated from past experiments are analyzed and used to generate new hypotheses, and in turn new experiments that will yield new data to continue to cycle. In this paper, we mainly focus on investigating whe