[論文レビュー] AutoSurvey: Large Language Models Can Automatically Write Surveys

Yidong Wang, Qi Guo+11 more|arXiv (Cornell University)|Jun 10, 2024

Topic Modeling被引用数 4

ひとこと要約

AutoSurveyは、AI や LLM などの急速に進化する分野において、包括的で構造的な文献レビューを自動生成するために大規模言語モデル（LLMs）を活用する体系的なフレームワークである。文脈窓の制限や知識の空白を、反復的検索、モジュラーなドラフト作成、厳密な評価を通じて克服し、1件あたり1.20ドルのコストで3分未塔で高品質なレビューを達成する。

ABSTRACT

This paper introduces AutoSurvey, a speedy and well-organized methodology for automating the creation of comprehensive literature surveys in rapidly evolving fields like artificial intelligence. Traditional survey paper creation faces challenges due to the vast volume and complexity of information, prompting the need for efficient survey methods. While large language models (LLMs) offer promise in automating this process, challenges such as context window limitations, parametric knowledge constraints, and the lack of evaluation benchmarks remain. AutoSurvey addresses these challenges through a systematic approach that involves initial retrieval and outline generation, subsection drafting by specialized LLMs, integration and refinement, and rigorous evaluation and iteration. Our contributions include a comprehensive solution to the survey problem, a reliable evaluation method, and experimental validation demonstrating AutoSurvey's effectiveness.We open our resources at \url{https://github.com/AutoSurveys/AutoSurvey}.

研究の動機と目的

• AI や LLM などの急速に進化する分野における膨大に増加する文献を統合する課題に対応すること。
• 従来のレビュー作成における制限、すなわち時間制約、情報過多、カバー範囲の不一致を克服すること。
• LLMを用いて包括的で構造的で正確なレビュー論文を生成するスケーラブルで自動化されたパイプラインを開発すること。
• 文脈窓の制限や架空の参照といった主なLLMの課題を、リtrieval増強と反復的精錬によって効果的に軽減すること。
• 自動生成レビューの品質と一貫性を保証する信頼性のある評価フレームワークを確立すること。

提案手法

• LLMの入力制限を超える文脈を拡張するために、関連論文および既存のレビュー内容を収集するリtrieval増強アプローチでレビュー生成を開始する。
• トピッククラスターや研究トレンドに基づいて論理的なセクションに階層的に構造化するため、LLMを用いてレビューのアウトラインを生成する。
• 分野特有の正確性と一貫性を保証するため、専用のLLMを用いて個々のセクションをドラフト化する。
• 前後のセクションと整合するように内容を整える「一貫性に配慮した精錬プロンプト」を用いて、ドラフト化されたセクションを統合・精錬する。
• 引用された論文が本文の主張を支持しているかどうかを検証するルールベースのシステムを用いて、引用の検証と是正を実施する。
• 自動評価指標と人間によるフィードバックを組み合わせた評価と精錬の反復サイクルを実施し、品質を向上させる。

Figure 1: Depicting growth trends from 2019 to 2024 in the number of LLMs-related papers (a) and surveys (b) on arXiv, accompanied by a T-SNE visualization. The data for 2024 is up to April, with a red bar representing the forecasted numbers for the entire year. While the number of surveys is increa

実験結果

リサーチクエスチョン

• RQ1 LLMは、LLMなどの急速に進化する分野において、包括的で構造的で正確な文献レビューを生成できるか？
• RQ2 レビュー生成の過程で、LLMの文脈窓の制限やパラメトリック知識の制限を効果的に軽減する方法は何か？
• RQ3 最小限の人的介入で信頼性があり自動的かつコスト効率の良いレビュー作成を可能にする体系的なフレームワークは何か？
• RQ4 自動生成レビューは、構造、正確性、カバー範囲の観点から、人間が作成したレビューとどの程度同等の品質を達成できるか？
• RQ5 LLMで生成されたレビュー内容における引用の正確性と事実の整合性をどのように保証できるか？

主な発見

• AutoSurveyは、1件あたり1.20ドルのコストで3分未塔で高品質な文献レビューを生成し、時間的・人的負担を顕著に削減する。
• リtrieval増強生成とモジュラーなドラフト作成を活用することで、文脈窓の制限を効果的に克服している。
• 引用の検証と是正メカニズムにより、架空の引用や根拠のない引用が著しく減少し、事実の正確性が向上した。
• 反復的精錬プロセスにより、セクション間の一貫性と論理的流れが向上し、構造的に整合性があり読みやすいレビューが得られた。
• 評価結果から、人間が作成したレビューと比較して、AutoSurveyがカバレッジ、構造、事実の整合性の観点で優れたパフォーマンスを示した。
• このフレームワークはスケーラブルであり、感情認識におけるLLMを用いた応用例を通じて、多様な研究トピックへの適用可能性が実証された。

Figure 2: The AutoSurvey Pipeline for Generating Comprehensive Surveys.