[論文レビュー] Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models

Minbyul Jeong, Jiwoong Sohn+2 more|arXiv (Cornell University)|Jan 27, 2024

Topic Modeling被引用数 4

ひとこと要約

Self-BioRAG は、生物学的および臨床的質問応答タスクに特化した、リtrieval増強型で自己反映型の大規模言語モデルフレームワークである。医学的推論を向上させるために、ドメイン固有の証拠をいつ取得すべきかを動的に決定し、パrametric知識と統合し、自身の推論を自己評価する。3つの主要な医療ベンチマークで、最先端の7Bオープンソースモデルと比較して7.2%の絶対的精度向上を達成した。

ABSTRACT

Recent proprietary large language models (LLMs), such as GPT-4, have achieved a milestone in tackling diverse challenges in the biomedical domain, ranging from multiple-choice questions to long-form generations. To address challenges that still cannot be handled with the encoded knowledge of LLMs, various retrieval-augmented generation (RAG) methods have been developed by searching documents from the knowledge corpus and appending them unconditionally or selectively to the input of LLMs for generation. However, when applying existing methods to different domain-specific problems, poor generalization becomes apparent, leading to fetching incorrect documents or making inaccurate judgments. In this paper, we introduce Self-BioRAG, a framework reliable for biomedical text that specializes in generating explanations, retrieving domain-specific documents, and self-reflecting generated responses. We utilize 84k filtered biomedical instruction sets to train Self-BioRAG that can assess its generated explanations with customized reflective tokens. Our work proves that domain-specific components, such as a retriever, domain-related document corpus, and instruction sets are necessary for adhering to domain-related instructions. Using three major medical question-answering benchmark datasets, experimental results of Self-BioRAG demonstrate significant performance gains by achieving a 7.2% absolute improvement on average over the state-of-the-art open-foundation model with a parameter size of 7B or less. Overall, we analyze that Self-BioRAG finds the clues in the question, retrieves relevant documents if needed, and understands how to answer with information from retrieved documents and encoded knowledge as a medical expert does. We release our data and code for training our framework components and model weights (7B and 13B) to enhance capabilities in biomedical and clinical domains.

研究の動機と目的

• 一般向け大規模言語モデル（LLM）の生物学的推論における限界、特に幻覚や事実に基づかない推論の問題を解決すること。
• オンデマンドリtrievalと自己反映機能を統合することで、ドメイン固有の医療質問応答のパフォーマンスを向上させること。
• 生物学的ドメイン固有のコンponents（例：生物学的リtriever、キュレート済みコーパス、インstructチューニング済みモデル）が高精度な医学的推論に不可欠であることを示すこと。
• 取得した証拠とパrametric知識を統合し、自己評価を組み合わせることで、専門医の推論を模倣するフレームワークを開発すること。
• 研究の前進を図るため、完全に訓練された7Bおよび13Bモデル、および関連データとコードを公開すること。

提案手法

• フレームワークは、84,000件のフィルタリング済み生物学的インストラクションセットで微調整されたドメイン固有のインstructチューニング済みLLM（7B/13B）を用い、答えの生成とその自己反映を行う。
• キュレート済みコーパス（PubMed Abstract、PMC Full Text、Clinical Guidelines、Medical Textbook）から関連する生物学的文書を取得するために、リtriever（MedCPT）を採用する。
• Self-BioRAG は、リtrievalが必要かどうか、取得した証拠が答えを支持するかどうか、最終的な回答が有用かどうかを自己評価するための反射トークンを用いる。
• 質問の複雑さと証拠の必要性に基づき、パrametric知識を用いた直接生成とリtrieval増強型生成の間で動的に意思決定を行う。
• 取得した証拠（青色で強調）とモデル内知識（赤色で強調）を統合して、推論過程と回答を生成する。
• マルチチョイスQA、要約、臨床的推論タスクに焦点を当て、エンドツーエンドで訓練する。

Figure 1 : Comparison between three frameworks: generation using language model (LM), retrieval-augmented generation (RAG) using LM, and our Self-BioRAG. (A) depicts the process of sequence-to-sequence generation of LM. (B) The RAG framework first finds relevant documents from large-scale corpus suc

実験結果

リサーチクエスチョン

• RQ1 リtrieval増強型で自己反映型のLLMフレームワークは、一般向けモデルを上回って生物学的質問応答タスクで優れた性能を示せるか？
• RQ2 ドメイン固有のコンponents（リtriever、コーパス、インストラクションデータ、反射メカニズム）の使用が、推論精度を顕著に向上させるか？
• RQ3 自己反映トークンは、医療文脈においてリtrieval意思決定と回答品質を効果的にガイドできるか？
• RQ4 取得した証拠とパrametric知識を統合することと、内部知識にのみ依存することの医療的推論における比較的効果は？
• RQ5 フレームワークは、臨床ガイドラインや教科書知識を必要とする種々の医療的質問に一般化可能か？

主な発見

• Self-BioRAG は、3つの主要な医療QAベンチマークで、最先端のオープンソース7Bモデルと比較して平均精度で7.2%の絶対的向上を達成した。
• PubMedQA データセットでは、Self-BioRAG は54.6%の精度を達成したが、LLaMA2（56.0%） や MEDITRON（58.1%） と比較してわずかに低い。これはリtrievalにおける証拠のノイズが要因とされている。
• USMLE風の質問を解く際、Medical Textbook コーパスから顕著に高い割合の関連証拠を取得した。
• Self-BioRAG は、リtrievalが不要な場合にパrametric知識に依存し、単純な質問に対してはそのように判断する。一方、複雑で証拠依存の質問に対してはリtrievalを活用する。
• 取得した証拠とパrametric知識の統合により、PCOS や血糖異常といった症例研究で、より正確で説明可能な診断が可能になった。
• ドメイン固有のコンponentsが不可欠であることが示された。一般向けRAG手法では、臨床的および生物学的文脈での一般化が効果的に機能しなかった。

Figure 2 : Overview of our Self-BioRAG process: data construction, training, and inference of Self-Reflection Language Model (critic LM $C$ ) and Domain-specific Instruction-tuned Language Model (generator LM $M$ ). We construct 120k biomedical instruction sets using two off-the-shelf instruction se