[논문 리뷰] AutoSurvey: Large Language Models Can Automatically Write Surveys

Yidong Wang, Qi Guo외 11명|arXiv (Cornell University)|2024. 06. 10.

Topic Modeling인용 수 4

한 줄 요약

AutoSurvey는 AI 및 LLM과 같이 빠르게 변화하는 분야에서 종합적이고 체계적인 문헌 조사를 자동으로 생성하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용하는 체계적인 프레임워크이다. 반복적 검색, 모듈러 초안 작성 및 철저한 평가를 통해 컨텍스트 창 한계와 지식 격차를 해결하여, 3분 이내에 $1.20의 비용으로 고품질의 문헌 조사 보고서를 생성한다.

ABSTRACT

This paper introduces AutoSurvey, a speedy and well-organized methodology for automating the creation of comprehensive literature surveys in rapidly evolving fields like artificial intelligence. Traditional survey paper creation faces challenges due to the vast volume and complexity of information, prompting the need for efficient survey methods. While large language models (LLMs) offer promise in automating this process, challenges such as context window limitations, parametric knowledge constraints, and the lack of evaluation benchmarks remain. AutoSurvey addresses these challenges through a systematic approach that involves initial retrieval and outline generation, subsection drafting by specialized LLMs, integration and refinement, and rigorous evaluation and iteration. Our contributions include a comprehensive solution to the survey problem, a reliable evaluation method, and experimental validation demonstrating AutoSurvey's effectiveness.We open our resources at \url{https://github.com/AutoSurveys/AutoSurvey}.

연구 동기 및 목표

• 빠르게 변화하는 분야인 AI 및 LLM과 같은 분야에서 급격히 확장되는 문헌을 통합하는 데 발생하는 도전 과제를 해결한다.
• 기존 문헌 조사 작성 방식의 한계, 즉 시간 제약, 정보 과부하, 일관성 없는 커버리지 문제를 해결한다.
• LLM을 활용해 종합적이고 체계적이며 정확한 조사 보고서를 자동으로 생성할 수 있는 확장 가능한 자동화 파이프라인을 개발한다.
• 검색 보강 및 반복적 개선을 통해 LLM의 핵심 과제인 컨텍스트 창 한계와 환상적 인용 문제를 완화한다.
• 자동 생성된 조사 보고서의 품질과 일관성을 보장하기 위한 신뢰할 수 있는 평가 프레임워크를 구축한다.

제안 방법

• LLM 입력 한계를 초월한 컨텍스트 확장을 위해 관련 논문과 이전 조사 자료를 검색 보강 방식으로 확보하여 조사 생성을 시작한다.
• 주제 군집과 연구 트렌드를 기반으로 논리적인 부문으로 나누어질 수 있는 계층적 조사 개요를 LLM을 사용해 생성한다.
• 전문적인 LLM을 활용해 개별 부문을 초안 작성하여 도메인 특화 정확성과 일관성을 확보한다.
• 이전 및 이후 섹션과의 일관성을 맞추기 위해 일관성 인식 기반의 개선 프롬프트를 사용해 초안을 통합하고 개선한다.
• 인용된 논문이 문단의 주장을 뒷받침하는지 확인하기 위해 규칙 기반 시스템을 활용해 인용 검증 및 수정을 수행한다.
• 자동 평가 지표와 인간의 피드백을 통합한 평가 및 개선 루프를 반복하여 품질을 향상시킨다.

Figure 1: Depicting growth trends from 2019 to 2024 in the number of LLMs-related papers (a) and surveys (b) on arXiv, accompanied by a T-SNE visualization. The data for 2024 is up to April, with a red bar representing the forecasted numbers for the entire year. While the number of surveys is increa

실험 결과

연구 질문

• RQ1 LLM은 AI 및 LLM과 같이 급격히 변화하는 분야에서 종합적이고 체계적이며 정확한 문헌 조사를 생성할 수 있는가?
• RQ2 LLM의 컨텍스트 창 한계와 매개변수 지식 제약 조건을 조사 생성 과정에서 효과적으로 완화할 수 있는가?
• RQ3 최소한의 인간 간섭으로 신뢰성 있고 자동화되며 비용 효율적인 조사 생성을 가능하게 하는 체계적인 프레임워크는 무엇인가?
• RQ4 자동화된 조사 보고서가 인간이 작성한 보고서의 구조, 정확성, 커버리지 측면에서 어느 정도 수준까지 도달할 수 있는가?
• RQ5 LLM이 생성한 조사 내용에서 인용 정확성과 사실 일관성을 어떻게 확보할 수 있는가?

주요 결과

• AutoSurvey는 3분 이내에 $1.20의 총 비용으로 고품질의 문헌 조사 보고서를 생성하여 시간과 노력을 크게 절감한다.
• 검색 보강 생성과 모듈러 초안 작성 방식을 통해 컨텍스트 창 한계 문제를 효과적으로 해결한다.
• 인용 검증 및 수정 메커니즘이 환상적 또는 근거 없는 인용을 성공적으로 줄여 사실 정확성을 향상시켰다.
• 반복적 개선 과정을 통해 부문 간의 일관성과 논리적 흐름이 향상되어 체계적이며 독해하기 쉬운 조사 보고서를 생성했다.
• 평가 결과, AutoSurvey가 생성한 조사 보고서는 인간이 작성한 보고서와 비교해 커버리지, 구조, 사실 일관성 측면에서 뛰어난 성능을 보였다.
• 프레임워크는 확장 가능하며 다양한 연구 주제에 적용 가능하며, LLM을 활용한 정서 인식에 대한 샘플 조사 보고서를 통해 이를 입증했다.

Figure 2: The AutoSurvey Pipeline for Generating Comprehensive Surveys.