[論文レビュー] MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

Peng Xia, Kangyu Zhu+7 more|arXiv (Cornell University)|Oct 16, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

MMed-RAG は、ドメインに配慮したリtrieval、適応的コンテキスト選択、および RAG を用いた好みの微調整を組み合わせることで、医療ビジョン・ランゲージモデルにおける事実的正確性を向上させる包括的で多様なマルチモーダルリtrieval拡張生成システムである。放射線学、眼科、病理学にまたがる5つの医療データセットにおいて、平均で43.8%の事実的正確性の向上を達成した。

ABSTRACT

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.

研究の動機と目的

• 医療大規模ビジョン・ランゲージモデル（Med-LVLMs）における事実の虚構（factual hallucination）を是正すること。これは、臨床応用への実装を阻害する主要な障壁である。
• データ不足やトレーニングデータと実世界データとの分布シフトといった、微調整の限界を克服すること。
• 放射線学、眼科、病理学を含む多様な医療分野におけるリtrieval拡張生成（RAG）の汎用性と信頼性を向上させること。
• リtrievalによる干渉によって引き起こされる、マルチモーダル間の不整合（例：視覚的入力を無視すること）および真値との全体的な不整合を軽減すること。
• 再トレーニングやドメイン特化の適応をほとんど必要としない、強固で移植可能な RAG フレームワークを開発すること。

提案手法

• 入力画像モality に応じて適切なリtrieval モデルを動的に選択するドメインに配慮したリtrieval 機構を導入する。
• 最適なリtrieved コンテキスト数を決定するための適応的キャリブレーション手法を実装し、事実的関連性とモデルの整合性の両立を図る。
• 好みペアを用いた RAG ベースの好みの微調整戦略を設計し、マルチモーダル間の整合性を向上させ、リtrieved テキストへの過剰依存を低減する。
• リtrieved テキストに正しい情報が含まれていても、視覚的入力を優先するようにモデルを訓練する。また、関連性のないまたは誤ったリtrieved コンテンツを抑制する。
• やや緩い仮定の下で理論的分析を行い、MMed-RAG がマルチモーダル間および全体的な真値との不整合を低減することを示した。
• リtrieval 拡張生成と好み最適化を活用し、モデル出力を視覚的入力と事実の参照に一致させる。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル RAG システムは、多様な医療画像分野における Med-LVLM における事実の虚構を効果的に低減できるか？
• RQ2 ドメインに配慮したリtrieval は、医療ビジョン・ランゲージタスクにおける RAG の汎用性と信頼性をどのように向上させるか？
• RQ3 適応的コンテキスト選択と好みの微調整は、視覚的入力、リtrieved 知識、およびモデル出力の間の不整合をどの程度軽減できるか？
• RQ4 RAG ベースの好みの微調整は、リtrieved コンテキストへの過剰依存を減らすと同時に、事実的正確性を維持できるか？
• RQ5 提案されたシステムは、タスク特化の再トレーニングなしに、複数の医療モodalities で高い事実的正確性を維持できるか？

主な発見

• MMed-RAG は、放射線学、眼科、病理学を含む5つの医療マルチモーダルデータセットにおいて、平均で43.8%の事実的正確性の向上を達成した。
• 医療 VQA では、ベースラインの Med-LVLM と比較して、事実的正確性が18.5%向上し、オープンエンドの推論タスクにおける優れた性能を示した。
• レポート生成タスクでは、改善率が69.1%に達し、長文で文脈に依存する医療テキスト生成において特に効果的であることが示された。
• リtrieved テキストをそのままでコピーする「コピーリファレンス（CR）レート」は、MMed-RAG を適用後、43.31%から28.19%に低下し、機械的コピーの減少が確認された。
• モデルが誤ってリtrieved コンテンツに従う「過剰依存（OR）レート」は、43.31%から8.38%に低下し、関連性のないまたは誤ったリtrieval の干渉が著しく減少した。
• 注目可視化の結果、MMed-RAG が視覚的入力への注目を強化し、リtrieved テキストへの過剰集中を軽減することで、マルチモーダル間の整合性が向上したことが確認された。