[論文レビュー] Bailicai: A Domain-Optimized Retrieval-Augmented Generation Framework for Medical Applications

Cui Long, Yongbin Liu+2 more|arXiv (Cornell University)|Jul 24, 2024

Recommender Systems and Techniques被引用数 5

ひとこと要約

Bailicai は、取得強化生成をドメイン最適化モジュールと新規の有向非巡回グラフ（DAG）タスク分解と組み合わせて、医療LLMの性能を向上させ、幻覚を減らす。

ABSTRACT

Large Language Models (LLMs) have exhibited remarkable proficiency in natural language understanding, prompting extensive exploration of their potential applications across diverse domains. In the medical domain, open-source LLMs have demonstrated moderate efficacy following domain-specific fine-tuning; however, they remain substantially inferior to proprietary models such as GPT-4 and GPT-3.5. These open-source models encounter limitations in the comprehensiveness of domain-specific knowledge and exhibit a propensity for 'hallucinations' during text generation. To mitigate these issues, researchers have implemented the Retrieval-Augmented Generation (RAG) approach, which augments LLMs with background information from external knowledge bases while preserving the model's internal parameters. However, document noise can adversely affect performance, and the application of RAG in the medical field remains in its nascent stages. This study presents the Bailicai framework: a novel integration of retrieval-augmented generation with large language models optimized for the medical domain. The Bailicai framework augments the performance of LLMs in medicine through the implementation of four sub-modules. Experimental results demonstrate that the Bailicai approach surpasses existing medical domain LLMs across multiple medical benchmarks and exceeds the performance of GPT-3.5. Furthermore, the Bailicai method effectively attenuates the prevalent issue of hallucinations in medical applications of LLMs and ameliorates the noise-related challenges associated with traditional RAG techniques when processing irrelevant or pseudo-relevant documents.

研究の動機と目的

• オープンソースLLMsの医療質問応答性能を、取得強化生成とドメイン特化知識注入を統合して向上させる。
• 自己知識境界識別とDAGベースのタスク分解を用いて、医療RAGにおける幻覚とノイズを低減する。
• Bailicai医療データセットを構築・精選し、頑健な医療推論のためのデータフィルタリングと prompting 戦略を適用する。
• 複数のベンチマークで既存の医療LLMおよびGPT-3.5より性能向上を示す。

提案手法

• 四つのモジュールからなるBailicaiアーキテクチャ：医療知識注入、自己知識境界識別、有向非巡回グラフ（DAG）タスク分解、そして取得強化生成（RAG）。
• モデル指向指示データフィルタリング（MoDS）を用いてUltraMedical由来の訓練データをキュレーション。
• Meta-Llama-3-70BとLoRA微調整を用いたタスク駆動の適応とデータ蒸留。
• RAGは密なエンコーダを用いてMedCPTで検索し、再ランキング用のBiSモデルで上位文書を選択。
• 自己知識境界識別は外部知識が必要かを判断し、取得待ち時間を削減。
• DAGタスク分解は複雑な医療タスクを階層的なDAGとして表現し、サブタスク処理を体系化。
• 医療知識注入はゴールデン文書と妨害要素文書を訓練データへ融合させ、引用精度を向上させ干渉を緩和。

実験結果

リサーチクエスチョン

• RQ1 Bailicaiはオープンソースの医療LLMを上回り、標準的な医療QAベンチマークでGPT-3.5を凌ぐことができるか？
• RQ2 自己知識境界識別アプローチは、取得を不必要に減らし待機時間を短縮しつつ、精度を維持または向上させるか？
• RQ3 DAGベースのタスク分解は複雑な医療クエリの処理を改善し、取得文書のノイズを減らすか？
• RQ4 MedCPTベースの検索・再ランキングパイプラインは医療文献QAにおいてBailicai内でどの程度有効か？
• RQ5 MoDS主導のデータキュレーションと prompting 戦略は医療タスクのモデル性能にどのような影響を与えるか？

主な発見

• Bailicaiは複数のベンチマークで既存の医療ドメインLLMを上回り、GPT-3.5の性能を超える。
• このフレームワークはLLMの医療応用での幻覚を効果的に低減する。
• Bailicaiは無関係または疑似関連文書を処理する際に従来のRAGに共通するノイズ問題を抑制する。
• 有向非巡回グラフタスク分解は複雑な医療タスクを体系的に処理する階層的アプローチを提供し、取得の知識組織を改善する。
• ドメイン特化知識注入、自己知識境界識別、およびDAGベースの分解の組み合わせは、実験で頑健なノイズ耐性を生む。