[论文解读] Large Language Models for Automated Open-domain Scientific Hypotheses Discovery

Zonglin Yang, Xinya Du+4 more|arXiv (Cornell University)|Sep 6, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了 TOMATO，这是首个用于社会科学研究中基于原始网络语料自动发现开放领域科学假说的 NLP 任务，能够生成新颖、有效且具有帮助性的假说。所提出的 MOOSE 框架采用多模块 LLM 流水线，结合三种新颖的反馈机制——当前反馈、过去反馈和未来反馈——通过迭代方式优化假说生成，在 GPT-4 和专家评估中均表现出色，生成的假说在新颖性和实际研究价值方面均获得高度评价。

ABSTRACT

Hypothetical induction is recognized as the main reasoning type when scientists make observations about the world and try to propose hypotheses to explain those observations. Past research on hypothetical induction is under a constrained setting: (1) the observation annotations in the dataset are carefully manually handpicked sentences (resulting in a close-domain setting); and (2) the ground truth hypotheses are mostly commonsense knowledge, making the task less challenging. In this work, we tackle these problems by proposing the first dataset for social science academic hypotheses discovery, with the final goal to create systems that automatically generate valid, novel, and helpful scientific hypotheses, given only a pile of raw web corpus. Unlike previous settings, the new dataset requires (1) using open-domain data (raw web corpus) as observations; and (2) proposing hypotheses even new to humanity. A multi-module framework is developed for the task, including three different feedback mechanisms to boost performance, which exhibits superior performance in terms of both GPT-4 based and expert-based evaluation. To the best of our knowledge, this is the first work showing that LLMs are able to generate novel (''not existing in literature'') and valid (''reflecting reality'') scientific hypotheses.

研究动机与目标

• 为解决以往假说归纳任务依赖人工整理的观察结果和常识知识的局限性，提出一项新任务，使用原始网络语料，并要求生成对人类而言新颖的假说。
• 构建首个用于社会科学研究假说发现的 NLP 数据集，包含来自顶级期刊的 50 篇近期论文，及其原始网络语料和专家标注的背景信息与灵感来源。
• 开发一种多模块 LLM 框架 MOOSE，能够仅基于原始网络语料自动生成假说，无需人类提供的观察结果或假说。
• 设计并评估三种新颖的反馈机制——当前反馈、过去反馈和未来反馈——通过 LLM 的迭代优化提升假说质量。

提出的方法

• MOOSE 框架是一种多模块 LLM 流水线，以结构化、模块化的方式处理原始网络语料，实现科学假说的生成。
• 当前反馈通过让一个模块利用另一 LLM 对其自身生成结果的反馈，实现即时自我修正。
• 过去反馈使一个模块能够从原本用于后续模块的反馈中获益，实现质量改进的反向传播。
• 未来反馈使当前模块能够生成理由或初步建议，以指导和增强下游模块的输出。
• 该框架将这些反馈机制整合进一个基于 LLM 的模块链中，每个模块负责假说生成与优化的特定阶段。
• 系统通过基于 GPT-4 的自动评估和由社会科学研究者进行的有效性、新颖性和帮助性评估进行评价。

Figure 1: Overview of the new task setting of hypothetical induction and the role of our proposed MOOSE framework.

实验结果

研究问题

• RQ1 当仅提供原始网络语料而无先前人工标注的观察结果或假说时，大型语言模型是否能够生成新颖、有效且具有帮助性的社会科学研究假说？
• RQ2 与基线相比，不同反馈机制（当前、过去和未来反馈）在提升 LLM 生成假说质量方面的有效性如何？
• RQ3 GPT-4 评估与人类专家评估在衡量科学假说质量方面的一致性如何？
• RQ4 MOOSE 类似框架能否生成既新颖又全面的假说，体现真实研究中的中介效应和调节效应？
• RQ5 反馈机制的整合如何在多次迭代中实现假说质量的逐步提升？

主要发现

• MOOSE 框架在所有指标（有效性、新颖性、帮助性）上均显著优于基于 LLM 的基线模型，无论是在 GPT-4 评估还是社会科学研究专家评估中。
• 三种反馈机制——当前反馈、过去反馈和未来反馈——均在基线框架基础上逐步提升假说质量，完整反馈链实现最高性能。
• 专家评估确认，MOOSE 生成的许多假说被认为有效、新颖且对正在进行的研究极具帮助，其中多项在新颖性和有效性上获得 5/5 的评分。
• GPT-4 评估与人类专家评估高度一致，软一致性分数超过 0.8，5 分制评分的平均差异小于 1 分，表明 GPT-4 在假说评估中具有可靠性。
• 定性分析显示，MOOSE 生成的假说通常包含复杂结构，如主要效应、调节变量和中介机制，体现出高度的科学成熟度。
• 数据集和代码已公开发布于 https://github.com/ZonglinY/MOOSE.git，支持可复现性，并为开放领域科学假说发现的未来基准测试提供支持。

Figure 2: Selected hypothesis in social science publication.