[论文解读] Harnessing the Power of Adversarial Prompting and Large Language Models for Robust Hypothesis Generation in Astronomy

Ioana Ciucă, Yuan-Sen Ting+2 more|arXiv (Cornell University)|Jun 20, 2023

Computational and Text Analysis MethodsSocial Sciences被引用 3

一句话总结

本研究证明，结合来自NASA ADS的1,000篇银河系天文学论文精选语料库，使用GPT-4进行对抗性上下文提示，可显著提升天文学领域的假说生成质量。通过AI批判性反馈持续优化思路，该方法生成了具有创新性且基于上下文的科学提案，其质量超越基线提示方法，并可与专家级见解相媲美。

ABSTRACT

This study investigates the application of Large Language Models (LLMs), specifically GPT-4, within Astronomy. We employ in-context prompting, supplying the model with up to 1000 papers from the NASA Astrophysics Data System, to explore the extent to which performance can be improved by immersing the model in domain-specific literature. Our findings point towards a substantial boost in hypothesis generation when using in-context prompting, a benefit that is further accentuated by adversarial prompting. We illustrate how adversarial prompting empowers GPT-4 to extract essential details from a vast knowledge base to produce meaningful hypotheses, signaling an innovative step towards employing LLMs for scientific research in Astronomy.

研究动机与目标

• 探究使用特定领域文献进行上下文提示是否能通过大型语言模型提升天文学中的假说生成质量。
• 评估对抗性提示（即一个AI对另一个AI生成的假说进行批判与优化）对生成科学构想的质量与创新性的影响。
• 评估低成本提示技术是否能在无需模型微调的前提下，通过提供广泛且相关的上下文，超越微调的效果。
• 证明大型语言模型能够从海量科学文献中提取并整合隐含知识，生成非平凡的、跨学科的研究提案。
• 建立一个可复现、可访问的天文学科学假说生成框架，使用开源工具和公开数据。

提出的方法

• 该方法通过向GPT-4输入最多1,000篇来自NASA ADS的近期同行评审银河系天文学论文作为上下文，实现上下文提示。
• 从检索到的论文中提取文本片段，通过相似性搜索与上下文压缩进行嵌入与过滤，以去除噪声并保留相关性。
• 采用三阶段对抗性提示流程：(1) GPT-4生成一个假说，(2) 第二个GPT-4模型对其进行批判，(3) 第三个GPT-4模型对反馈进行调解以优化输出。
• 该过程迭代多次（nF轮次），每轮循环均提升了假说的一致性、深度与科学相关性。
• 该方法利用Langchain管理检索增强生成（RAG）工作流，实现动态上下文检索与整合。
• 人类专家使用标准化评分框架，对最终生成的假说与批判意见在质量、原创性与科学合理性方面进行评估。

Figure 1: This figure illustrates the adversarial in-context prompting workflow using OpenAI’s GPT-4 model. The procedure begins with the pre-processing and embedding of Galactic Astronomy papers. A similarity search is conducted on the embedded query, and relevant document chunks are retrieved. A f

实验结果

研究问题

• RQ1 使用1,000篇天文学论文的特定领域语料库进行上下文提示，是否能显著提升GPT-4的假说生成质量？
• RQ2 当假说由第二个大型语言模型迭代式地批判与优化时，对抗性提示在多大程度上提升了生成构想的创新性与科学严谨性？
• RQ3 在天文学领域，大型语言模型在假说生成方面，其性能在朴素提示与上下文丰富提示之间有何差异？
• RQ4 当应用于训练数据有限的科学领域时，对抗性提示在多大程度上能缓解大型语言模型固有的幻觉风险？
• RQ5 在原创性与可行性方面，AI生成的假说在多大程度上可与专家人类科学提案相媲美？

主要发现

• 使用1,000篇天文学论文进行对抗性上下文提示，显著提升了假说质量，人类专家评定最终输出与专家级科学提案相当。
• 迭代式对抗性优化过程（nF轮次）显著提升了生成假说的一致性与科学深度。
• 若无对抗性提示，GPT-4生成的假说往往支离破碎、事实冗余，或仅是现有文献的重新表述，缺乏原创性洞见。
• 对抗性GPT-4模型生成的批判意见高度准确，其质量与专家人类评审者相当，尤其在识别方法论缺陷与逻辑漏洞方面表现突出。
• 该方法证明，大型语言模型能够整合天文学多个子领域（如恒星运动学、星系演化、元素丰度）的隐含知识，生成跨学科研究构想。
• 本研究证实，在资源受限环境下，上下文丰富的提示方法可超越微调，为科学人工智能应用提供一种可扩展、低成本的替代方案。

Figure 2: Adversarial prompting and domain-specific context enrichment significantly enhance hypothesis generation quality. 60 hypotheses and 40 critiques generated by the AI were evaluated by two human experts, with the mean scores reported for individual instances. The iterations of adversarial pr