[論文レビュー] Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model System for Answering Medical Questions using Scientific Literature

Alejandro Lozano, Scott L. Fleming+2 more|arXiv (Cornell University)|Oct 24, 2023

Topic Modeling被引用数 6

ひとこと要約

Clinfo.ai は、臨床的質問に応じて動的に関連する科学文献を取得・統合して回答するオープンソースのリtrieval増強型大規模言語モデルシステムである。PubMedRS-200ベンチマークにおいて、他のオープンソースQAシステムを上回り、UniEvalの全体スコアで最大14.9%高いスコアを記録した。特にTL;DR要約において顕著な性能を示し、システマティックレビューの出典に依存せずに、きめ細やかで正確な医療分野の質問応答能力を有していることが示された。

ABSTRACT

The quickly-expanding nature of published medical literature makes it challenging for clinicians and researchers to keep up with and summarize recent, relevant findings in a timely manner. While several closed-source summarization tools based on large language models (LLMs) now exist, rigorous and systematic evaluations of their outputs are lacking. Furthermore, there is a paucity of high-quality datasets and appropriate benchmark tasks with which to evaluate these tools. We address these issues with four contributions: we release Clinfo.ai, an open-source WebApp that answers clinical questions based on dynamically retrieved scientific literature; we specify an information retrieval and abstractive summarization task to evaluate the performance of such retrieval-augmented LLM systems; we release a dataset of 200 questions and corresponding answers derived from published systematic reviews, which we name PubMed Retrieval and Synthesis (PubMedRS-200); and report benchmark results for Clinfo.ai and other publicly available OpenQA systems on PubMedRS-200.

研究の動機と目的

• 臨床医や研究者が、毎年100万件を超えるPubMedの論文の急増する医学文献に追いつくのが困難であるという課題に対処すること。
• 臨床的質問応答におけるリtrieval増強型LLMの評価に用いられる高品質なデータセットと標準化されたベンチマークタスクの不足を克服すること。
• 臨床的質問に応じて関連文献を取得し、要約を生成するエンドツーエンドのオープンソースシステムであるClinfo.aiを開発・公開すること。
• 200件の臨床的質問と、システマティックレビューから抽出された回答と参照文献を含むデータセット、PubMedRS-200を提供し、LLMベースのシステムの再現可能な評価を可能にすること。
• 情報検索と要約生成の両タスクを統合した標準化された評価フレームワークを提供し、ゴールスタンダードとソースフリーの両方の指標を含めること。

提案手法

• Clinfo.ai は、LLMが生成するクエリを用いてPubMedの関連論文を最初に取得するリtrieval増強生成（RAG）パイプラインを採用している。
• 微調整済みのLLMを用いて、取得した文献から要約（TL;DR）とより詳細な統合要約を生成している。
• 情報検索と要約生成の二重タスクベンチマークを用いて評価しており、両方とも人間が作成したゴールスタンダードと比較している。
• 実際の展開状況を模倣するため、制限なし、制限あり、ソースフリーの検索の3つの評価レジームを含んでいる。
• 要約の質と関連性を評価するために、UniEval、BERTScore、ROUGE-L、METEOR、CTC といった自動指標を用いている。
• PubMedRS-200データセットは、発表済みのシステマティックレビューから抽出した200件の質問から構成されており、回答と参照文献は正確性と代表性を考慮して選別されている。

Figure 1: Schematic Representation of the Protocol for Retrieving Abstracts from PubMed and Generating Title-Based Questions

実験結果

リサーチクエスチョン

• RQ1 Clinfo.ai というリtrieval増強型LLMシステムは、科学文献を用いて臨床的質問に回答する際、既存の閉鎖型ツールを上回ることができるか？
• RQ2 Clinfo.ai の性能は、制限なし、制限あり、ソースフリーの検索条件といった異なる評価レジームにおいてどのように変化するか？
• RQ3 Clinfo.ai の性能は、元のシステマティックレビューへのアクセスにどれほど依存しているのか。また、それらの出典がなければ、依然として高品質な要約を生成できるか？
• RQ4 自動評価指標は、医療分野の質問応答と要約の文脈において、人間の好みとどの程度相関しているか？
• RQ5 TL;DR（長すぎたので読まなかった）要約形式は、完全な要約生成と比較して、モデルの性能向上にどのような役割を果たすか？

主な発見

• Clinfo.ai は、他のシステムと比較して、最大14.9%高いUniEvalの全体スコアを記録し、リtrieval増強型質問応答における優れた性能を示した。
• Clinfo.ai のTL;DR要約モードは、同じ論文を取得した状態で、完全な要約モードや要約＋TL;DRの統合モードよりも顕著に優れていた。
• 元のシステマティックレビューへのアクセスがなくても、Clinfo.ai は他のシステムよりもゴールスタンダードの結論に近い要約を生成した。
• 出力長にかかわらず一貫した性能を維持しており、短い（TL;DR）および長い（Synthesis）両方の出力で改善が観察された。
• 制限なしの検索レジームでは最高のパフォーマンスを示し、元のシステマティックレビューが96.5%の確率で検出された。
• 指標順位の不一致（例：Elicit が BERTScore や ROUGE-L で Clinfo.ai を上回ったが、METEOR や CTC（SF）では Clinfo.ai が優れた）は、自動指標の限界を示しており、複数の指標を用いた評価の必要性を強調している。

Figure 2: Clinfo.ai: A RetA LLM system for retrieving and summarizing scientific articles