[论文解读] AutoSurvey: Large Language Models Can Automatically Write Surveys

Yidong Wang, Qi Guo+11 more|arXiv (Cornell University)|Jun 10, 2024

Topic Modeling被引用 4

一句话总结

AutoSurvey 是一个系统化框架，利用大语言模型（LLMs）自动生成快速演进领域（如人工智能和大语言模型）中全面、结构良好的文献综述。它通过迭代检索、模块化撰写和严格评估，克服上下文窗口限制和知识空白，在不到3分钟内完成每篇综述，成本仅为1.20美元。

ABSTRACT

This paper introduces AutoSurvey, a speedy and well-organized methodology for automating the creation of comprehensive literature surveys in rapidly evolving fields like artificial intelligence. Traditional survey paper creation faces challenges due to the vast volume and complexity of information, prompting the need for efficient survey methods. While large language models (LLMs) offer promise in automating this process, challenges such as context window limitations, parametric knowledge constraints, and the lack of evaluation benchmarks remain. AutoSurvey addresses these challenges through a systematic approach that involves initial retrieval and outline generation, subsection drafting by specialized LLMs, integration and refinement, and rigorous evaluation and iteration. Our contributions include a comprehensive solution to the survey problem, a reliable evaluation method, and experimental validation demonstrating AutoSurvey's effectiveness.We open our resources at \url{https://github.com/AutoSurveys/AutoSurvey}.

研究动机与目标

• 应对人工智能和大语言模型等快速发展的领域中，合成不断扩展的文献所带来的日益严峻的挑战。
• 克服传统综述写作的局限，包括时间限制、信息过载和覆盖不一致的问题。
• 开发一种可扩展的自动化流程，利用大语言模型生成全面、结构良好且准确的综述论文。
• 通过检索增强和迭代优化，缓解大语言模型的关键挑战，如上下文窗口限制和幻觉引用。
• 建立可靠的评估框架，确保自动生成综述的质量和连贯性。

提出的方法

• 采用检索增强方法启动综述生成，收集相关论文和先前综述内容，将上下文扩展至大语言模型输入限制之外。
• 使用大语言模型生成分层的综述提纲，根据主题聚类和研究趋势将综述划分为逻辑子部分。
• 使用特定的大语言模型撰写各个子部分，确保领域特定的准确性和连贯性。
• 通过注重连贯性的优化提示，整合并优化已撰写的子部分，使其与前后文保持一致。
• 使用基于规则的系统应用引用验证和修正，检查所引用的论文是否支持文本中的主张。
• 通过自动化指标和人工参与的反馈循环，进行多轮评估与优化，以持续提升质量。

Figure 1: Depicting growth trends from 2019 to 2024 in the number of LLMs-related papers (a) and surveys (b) on arXiv, accompanied by a T-SNE visualization. The data for 2024 is up to April, with a red bar representing the forecasted numbers for the entire year. While the number of surveys is increa

实验结果

研究问题

• RQ1 大语言模型能否在人工智能和大语言模型等快速演进的领域中，生成全面、结构良好且准确的文献综述？
• RQ2 在综述生成过程中，如何有效缓解大语言模型的上下文窗口限制和参数化知识约束？
• RQ3 何种系统化框架能够实现可靠、自动化且成本低廉的综述生成，且人类干预极少？
• RQ4 自动化综述在结构、准确性和覆盖范围方面，与人工撰写的综述相比，能达到何种程度的相似性？
• RQ5 如何确保大语言模型生成的综述内容在引用正确性和事实一致性方面可靠？

主要发现

• AutoSurvey 在不到3分钟内完成高质量文献综述，每篇综述总成本仅为1.20美元，显著减少了时间和精力投入。
• 该框架通过检索增强生成和模块化撰写，有效缓解了上下文窗口限制。
• 引用验证与修正机制成功减少了幻觉或无支持的引用，提升了事实准确性。
• 迭代优化过程增强了子部分之间的连贯性和逻辑流畅性，使综述结构严谨、易于阅读。
• 评估结果表明，与人工撰写的综述相比，AutoSurvey 生成的综述在覆盖范围、结构和事实一致性方面表现优异。
• 该框架具有可扩展性，适用于多种研究主题，已通过一篇关于使用大语言模型进行情绪识别的样本综述得到验证。

Figure 2: The AutoSurvey Pipeline for Generating Comprehensive Surveys.