[论文解读] Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers

Chenglei Si, Diyi Yang+1 more|arXiv (Cornell University)|Sep 6, 2024

Wikis in Education and Collaboration被引用 41

一句话总结

作者进行一项大规模研究，比较大型语言模型（LLM）生成的研究思路与人工专家思路；基于来自100+ NLP研究者的盲评，AI思路在新颖性方面更高，可行性相近。

ABSTRACT

Recent advancements in large language models (LLMs) have sparked optimism about their potential to accelerate scientific discovery, with a growing number of works proposing research agents that autonomously generate and validate new ideas. Despite this, no evaluations have shown that LLM systems can take the very first step of producing novel, expert-level ideas, let alone perform the entire research process. We address this by establishing an experimental design that evaluates research idea generation while controlling for confounders and performs the first head-to-head comparison between expert NLP researchers and an LLM ideation agent. By recruiting over 100 NLP researchers to write novel ideas and blind reviews of both LLM and human ideas, we obtain the first statistically significant conclusion on current LLM capabilities for research ideation: we find LLM-generated ideas are judged as more novel (p < 0.05) than human expert ideas while being judged slightly weaker on feasibility. Studying our agent baselines closely, we identify open problems in building and evaluating research agents, including failures of LLM self-evaluation and their lack of diversity in generation. Finally, we acknowledge that human judgements of novelty can be difficult, even by experts, and propose an end-to-end study design which recruits researchers to execute these ideas into full projects, enabling us to study whether these novelty and feasibility judgements result in meaningful differences in research outcome.

研究动机与目标

• 评估最先进的LLMs在大规模下是否能够生成具有新颖性且达到专家水平的研究思路。
• 控制在创意生成、撰写格式和评审过程中的混杂因素，以实现与人类专家的公平比较。
• 提供一个标准化的评估协议和基准数据，用于未来的创意代理研究。
• 比较三种条件：人工撰写的思路、AI生成的思路，以及AI生成的思路经过人类专家重新排序。
• 调查LLM创意代理的局限性，并提出端到端的后续研究以研究现实世界的结果。

提出的方法

• 使用检索增强生成（RAG）来用每个主题最多120篇检索论文来支撑AI思路，并对论文的相关性、实证内容以及激发新工作的潜力进行评分。
• 为每个主题生成4000个种子思路以最大化候选质量，然后进行去重和top-N筛选。
• 使用基于公开会议评审数据训练的瑞士制对对比法LLM排序器对想法进行排序，并提供人类背书的重新排序选项（AI Ideas + Human Rerank）。
• 使用固定模板和风格规范化模块对思路撰写进行标准化，以消除撰写风格中的信号线索。
• 招募超过100名NLP研究者担任专家，负责撰写思路和盲评，确保跨条件可比性以及评审与作者之间的机构分离。
• 通过盲评表评估思路，设四个指标（新颖性、兴奋度、可行性、预期有效性）及总分，使用1–10分的尺度并给出理由。

Figure 1: Overview of our study: we recruit 79 expert researchers to perform blind review of 49 ideas from each of the three conditions: expert-written ideas, AI-generated ideas, and AI-generated ideas reranked by a human expert. We standardize the format and style of ideas from all conditions befor

实验结果

研究问题

• RQ1 目前的LLMs是否能够在新颖性方面产生达到专家水平、等同于或优于人类专家的新颖性？
• RQ2 与人类撰写的思路相比，AI生成的思路在感知新颖性、兴奋度、可行性和预期影响方面是否存在差异？
• RQ3 基于LLM的排序有多可靠，生成中的自评和多样性有哪些局限？
• RQ4 人类重新排序对AI生成思路的质量和新颖性有何影响？
• RQ5 人类对新颖性的判断对端到端执行研究的创意代理有何意义？

主要发现

• AI生成的思路在多项测试中被评为比人类专家思路更具新颖性（p<0.05）。
• AI生成的思路在可行性方面略低于人类思路，尽管总体分数并非始终更差。
• AI思路加上人类重新排序在新颖性和总分上甚至高于人类思路，表明人机协同排序的价值。
• 审稿人分析显示新颖性和兴奋度对总体分数的影响大于可行性，突出对新颖性判定的主观性。
• 通过代理进行的基于LMM的排序显示局限性，包括在规模化下缺乏多样性以及评估者的自评不完美。
• 该研究提供了标准化协议，以及代理实现和评审的发布，以支持未来的端到端创意研究。

Figure 2: Comparison of the three experiment conditions across all review metrics. Red asterisks indicate that the condition is statistically better than the Human baseline with two-tailed Welch’s t-tests and Bonferroni correction. All scores are on a 1 to 10 scale. More detailed results are in Sect