[論文レビュー] PaperQA: Retrieval-Augmented Generative Agent for Scientific Research

Jakub Lála, Odhran O’Donoghue+4 more|arXiv (Cornell University)|Dec 8, 2023

Topic Modeling被引用数 51

ひとこと要約

PaperQAは、全文献を検索し、証拠を集め、引用付きで科学的な質問に答えるエージェントベースの Retrieval-Augmented Generation システムであり、LitQAでいくつかのLLMsおよび商用ツールを上回り、低コストで人間の専門家のパフォーマンスに匹敵します。

ABSTRACT

Large Language Models (LLMs) generalize well across language tasks, but suffer from hallucinations and uninterpretability, making it difficult to assess their accuracy without ground-truth. Retrieval-Augmented Generation (RAG) models have been proposed to reduce hallucinations and provide provenance for how an answer was generated. Applying such models to the scientific literature may enable large-scale, systematic processing of scientific knowledge. We present PaperQA, a RAG agent for answering questions over the scientific literature. PaperQA is an agent that performs information retrieval across full-text scientific articles, assesses the relevance of sources and passages, and uses RAG to provide answers. Viewing this agent as a question answering model, we find it exceeds performance of existing LLMs and LLM agents on current science QA benchmarks. To push the field closer to how humans perform research on scientific literature, we also introduce LitQA, a more complex benchmark that requires retrieval and synthesis of information from full-text scientific papers across the literature. Finally, we demonstrate PaperQA's matches expert human researchers on LitQA.

研究の動機と目的

• LLMベースの科学QAにおける幻覚と再現性の問題を、 retrieval-augmented generation (RAG) を活用して克服する。
• 全文献からエビデンスを収集し、出典を明示した根拠ある回答を反復的に生成できるエージェントベースの RAG ワークフローを開発する。
• contemporary literature からの検索と統合を評価するための、全文献科学 QA ベンチマークとして LitQA を導入する。
• PaperQAが LitQA 上で既存の LLM や商用ツールを上回り、正確さと効率の両面で人間専門家のパフォーマンスに近づくことを示す。

提案手法

• RAGをモジュール化されたツール（search, gather_evidence, answer_question）に分解し、エージェント LLM によって実行する。
• Map-reduce スタイルの証拠収集を用いて複数ソースの情報を検討し、最終的な回答前に中間証拠を提供する。
• テキストチャンクに対してベクトル類似度に加えて、LLM生成スコアを用いて数値的関連度スコアを割り当てる。
• 潜在知識を活用して取得決定を改善するために、先天的な prompting（a priori）と後知的 prompting（a posteriori）を組み合わせる。
• 全文献から4000文字のチャンクを取得し、text-embedding-ada-002で埋め込み、検索用のベクターデータベースに格納する。
• 十分な証拠が蓄積されるまで反復的なツール使用（searchとgather_evidence）を有効化してから回答する。
• LitQA および標準の QA ベンチマークを用いて評価し、GPT-4、Claude-2、AutoGPT、商用ツールと比較する；出典の幻覚発生率を評価する。

実験結果

リサーチクエスチョン

• RQ1 モジュール化されたエージェントベースの RAG アーキテクチャは、固定的で線形的な RAG パイプラインと比較して、事実的基盤を改善し幻覚を減らすことができるか。
• RQ2 PaperQAは全文献の科学論文から情報を検索・統合して、論文を横断した推論を必要とする質問にどの程度答えられるか。
• RQ3 LitQAおよび標準的なベンチマークにおけるPaperQAの性能とコストのトレードオフは、人間の専門家や商用の科学QAツールと比較してどうか。
• RQ4 PaperQAは、引用の幻覚が少なく、現代のLLMベースのQAシステムより不確実性の扱いが優れているか。

主な発見

• PaperQAはLitQAでGPT-4や他の商用ツールを上回り、ベンチマークの正確さと応答時間の両面で人間のパフォーマンスに匹敵し、コストは低い。
• PaperQAは検証されたケースで引用幻覚の発生率が0%と低く、他のLLMsに比べて顕著な幻覚率を示さない。
• 標準的なQAベンチマークでは、PaperQA特有のプロンプトと retrieval を用いると、GPT-4単独を含む強力なベースラインと比較して競合的または優位な性能を示す。
• LitQAは全文献からの検索と統合を必要とするが、PaperQAは強力な検索性能とマルチソース証拠の効果的な集約を map-reduce スタイルのワークフローで示す。
• アブレーション研究は、最良の性能のためには複数の構成要素（多回の検索、証拠収集、Askステップを通じた LL M の潜在知識の活用）が重要であることを示す。
• PaperQAは費用対効果が高く、GPT-4/GPT-3.5-turbo構成で1問あたり約0.18ドル、質問バッチあたり約2.4時間程度のコストと時間を要する（人間の時間と同等程度と比較可能）。