[논문 리뷰] PaperQA: Retrieval-Augmented Generative Agent for Scientific Research

Jakub Lála, Odhran O’Donoghue외 4명|arXiv (Cornell University)|2023. 12. 08.

Topic Modeling인용 수 51

한 줄 요약

PaperQA는 전문 텍스트 논문을 전체 검색하고 증거를 수집하며 인용과 함께 과학적 질문에 답하는 에이전트 기반 Retrieval-Augmented Generation 시스템으로, LitQA에서 여러 LLM 및 상용 도구를 능가하고 인간 전문가의 성능에 비해 비용이 낮은 수준으로 도달합니다.

ABSTRACT

Large Language Models (LLMs) generalize well across language tasks, but suffer from hallucinations and uninterpretability, making it difficult to assess their accuracy without ground-truth. Retrieval-Augmented Generation (RAG) models have been proposed to reduce hallucinations and provide provenance for how an answer was generated. Applying such models to the scientific literature may enable large-scale, systematic processing of scientific knowledge. We present PaperQA, a RAG agent for answering questions over the scientific literature. PaperQA is an agent that performs information retrieval across full-text scientific articles, assesses the relevance of sources and passages, and uses RAG to provide answers. Viewing this agent as a question answering model, we find it exceeds performance of existing LLMs and LLM agents on current science QA benchmarks. To push the field closer to how humans perform research on scientific literature, we also introduce LitQA, a more complex benchmark that requires retrieval and synthesis of information from full-text scientific papers across the literature. Finally, we demonstrate PaperQA's matches expert human researchers on LitQA.

연구 동기 및 목표

• LLM 기반 과학 QA에서 발생하는 환각 및 재현성 문제를 Retrieval-Augmented Generation(RAG)을 활용해 해결한다.
• 전체 텍스트 논문에서 반복적으로 검색하고 증거를 수집하며 근거를 제시하는 검증 가능한 답을 생성하는 에이전트 기반 RAG 워크플로를 개발한다.
• LitQA라는 전체 텍스트 과학 QA 벤치마크를 도입해 현대 문헌에서의 검색 및 합성을 평가한다.
• PaperQA가 LitQA에서 기존 LLM 및 상용 도구보다 성능이 우수하고 정확도와 효율성 면에서 인간 전문가의 성능에 근접함을 입증한다.

제안 방법

• RAG를 모듈형 도구(search, gather_evidence, answer_question)로 분해하고 이를 에이전트 LLM이 수행하도록 한다.
• MAP-REDUCE 스타일의 증거 수집을 사용해 여러 출처의 정보를 고려하고 최종 답변 전 중간 증거를 제공한다.
• 텍스트 청크에 대해 벡터 유사도 외에 LLM이 생성한 점수로 텍스트 청크에 대한 수치적 관련도 점수를 부여한다.
• 잠재 지식을 활용하고 검색 결정을 개선하기 위해 사전 지시와 사후 지시를 통합한다.
• 전체 텍스트 논문에서 4,000-character 청크를 검색하고 text-embedding-ada-002로 임베딩하여 벡터 데이터베이스에 저장한다.
• 충분한 증거가 누적될 때까지 반복적으로 도구를 사용(search 및 gather_evidence)한 뒤에 답한다.
• LitQA 및 표준 QA 벤치마크로 평가하고, GPT-4, Claude-2, AutoGPT 및 상용 도구와 비교하며 인용 환각률을 평가한다.

실험 결과

연구 질문

• RQ1 모듈식의 에이전트 기반 RAG 아키텍처가 고정된 선형 RAG 파이프라인과 비교하여 사실적 근거 제시를 개선하고 환각을 줄일 수 있는가?
• RQ2 PaperQA가 전체 텍스트 과학 논문에서 정보를 검색하고 합성하여 논문 간 추론이 필요한 질문에 얼마나 잘 답변하는가?
• RQ3 LitQA 및 표준 벤치마크에서 PaperQA의 성능 및 비용은 인간 전문가와 상용 과학 QA 도구에 비해 어떤 무게를 가지는가?
• RQ4 PaperQA가 현대 LLM 기반 QA 시스템보다 적은 인용 환각과 더 나은 불확실성 처리 능력을 보이는가?

주요 결과

• PaperQA는 LitQA에서 GPT-4 및 기타 상용 도구를 능가하고 벤치마크에서 정확도와 응답 시간 면에서 인간의 성능에 근접하며 비용이 더 저렴합니다.
• PaperQA는 다른 LLM에서 관찰되는 상당한 환각률에 비해 인용 환각이 매우 낮은 비율(테스트 사례에서 0%)을 보입니다.
• 표준 QA 벤치마크에서 PaperQA는 PaperQA 전용 프롬프트와 검색을 사용해 강력한 기저 모델과 비교해 경쟁적이거나 우수한 성능을 보이며, GPT-4 단독보다도 앞섭니다.
• LitQA는 전체 텍스트 논문에서의 검색 및 합성이 필요하며, PaperQA는 강력한 검색 성능과 다중 소스 증거를 map-reduce 스타일 워크플로를 통해 효과적으로 집계합니다.
• 요인 제거 연구(ablation studies)는 다중 라운드 검색, 증거 수집, 그리고 탐색 단계에서 LLM의 잠재 지식을 활용하는 것이 최상의 성능에 중요함을 보여줍니다.
• PaperQA는 비용 효율적이며 GPT-4/GPT-3.5-turbo 구성에서 질문당 평균 약 $0.18, 질문 묶음당 약 2.4시간의 시간이 소요되어 인간 시간과 대등합니다.