[論文レビュー] MedXChat: A Unified Multimodal Large Language Model Framework towards CXRs Understanding and Generation

Ling Yang, Zhanyu Wang+3 more|arXiv (Cornell University)|Dec 4, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

MedXChat は、1つの指令チューニング済み大規模言語モデル (LLM) を用いて、エンド・ツー・エンドの CXR からレポート生成、視覚的質問応答 (VQA)、テキストから CXR への合成を統合するマルチモーダル大規模言語モデルフレームワークです。MIMIC-CXR において、FID (43.46)、AUROC (0.87)、BLEU-4 (0.42) の最先端性能を達成し、臨床的に正確で詳細な側面視 CXR の生成において優れた忠実度を示しています。

ABSTRACT

Multimodal Large Language Models (MLLMs) have shown success in various general image processing tasks, yet their application in medical imaging is nascent, lacking tailored models. This study investigates the potential of MLLMs in improving the understanding and generation of Chest X-Rays (CXRs). We introduce MedXChat, a unified framework facilitating seamless interactions between medical assistants and users for diverse CXR tasks, including text report generation, visual question-answering (VQA), and Text-to-CXR generation. Our MLLMs using natural language as the input breaks task boundaries, maximally simplifying medical professional training by allowing diverse tasks within a single environment. For CXR understanding, we leverage powerful off-the-shelf visual encoders (e.g., ViT) and LLMs (e.g., mPLUG-Owl) to convert medical imagery into language-like features, and subsequently fine-tune our large pre-trained models for medical applications using a visual adapter network and a delta-tuning approach. For CXR generation, we introduce an innovative synthesis approach that utilizes instruction-following capabilities within the Stable Diffusion (SD) architecture. This technique integrates smoothly with the existing model framework, requiring no extra parameters, thereby maintaining the SD's generative strength while also bestowing upon it the capacity to render fine-grained medical images with high fidelity. Through comprehensive experiments, our model demonstrates exceptional cross-task adaptability, displaying adeptness across all three defined tasks. Our MedXChat model and the instruction dataset utilized in this research will be made publicly available to encourage further exploration in the field.

研究の動機と目的

• 臨床現場における画像理解と生成、自然言語対話の統合を円滑に行う統合型マルチモーダルフレームワークの開発。
• 従来のモデルがベクトル量子化 (VQ) に依存し、量子化誤差と固定コードブック制約に苦しむ問題を克服すること。
• 拡散モデルの再訓練やテキストから画像トークンへの変換を一切行わず、Stable Diffusion のネイティブな指令従い機能を活用して、指示ベースの高忠実度テキストから CXR への合成を実現すること。
• CLIP に統合された局所的特徴と LLM を用いた指令チューニングを活用することで、クロスタスク適応性と臨床的関連性を向上させること。
• 生成および理解タスクにおいて、前後位 (PA) と側面視 (LAT) の両方の CXR ビューをサポートし、診断の包括性を高めること。

提案手法

• 微細な医療データ向けに、視覚的および言語的表現の整合性を高めるために、VQ に基づく画像トークンの代わりに CLIP に統合された局所的特徴を採用。
• 画像とレポートを参照する指令チューニング済み対話データを生成するため、テキスト専用の LLM (ChatGPT-4) を教師として用い、エンド・ツー・エンドのマルチモーダル微調整を実現。
• テキストから CXR への合成では、Stable Diffusion の指令従い機能を直接活用し、トークンレベルの画像・テキスト整合性を回避するとともに、拡散モデルの完全な再訓練を不要とすること。
• MIMIC-CXR データセット上でエンド・ツー・エンドに訓練され、CXR からレポート生成、VQA、テキストから CXR 生成の3つのコアタスクをサポート。
• モデルヘッドやパラメータ効率的アダプタを別途必要としないように、プロンプトベースの指令チューニングにより視覚と言語モality を統合。
• BLEU、ROUGE、METEOR、CIDEr、FID、AUROC、診断分類精度といった標準指標を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 統合型マルチモーダル LLM フレームワークは、1つのアーキテクチャ内で CXR からレポート生成、VQA、テキストから CXR への合成のすべてにおいて最先端の性能を達成できるか？
• RQ2 VQ に基づく画像トークン化の代わりに CLIP に統合された局所的特徴を採用することで、医療マルチモーダルタスクにおける性能と一般化能力がどのように向上するか？
• RQ3 指令チューニング済み LLM は、正しい解剖学的ビュー（例：側面視）や病変を正確に含む臨床的に正確な詳細な CXR 画像をどれほど生成できるか？
• RQ4 Stable Diffusion のネイティブな指令従い機能を活用することで、追加の画像トークン化を伴わず、パラメータ効率的かつ高忠実度のテキストから CXR への生成が可能になるか？
• RQ5 特に両側浮腫や胸膜効果などの複雑な症例において、MedXChat は既存のモデルと比較して、臨床的に関連するパターンをどれほど正確に捉えられるか？

主な発見

• MedXChat はテキストから CXR への生成において FID スコア 43.46 を達成し、LLM-CXR (73.29) や UniXGen (106.17) を大きく上回り、実際の CXR に類似した優れた画像品質と分布類似度を示している。
• 診断分類においては AUROC 0.87 を達成し、LLM-CXR (0.85) や UniXGen (0.78) を上回り、臨床的に有用な特徴をより強く捉えていることが示された。
• CXR からレポート生成では BLEU-4 スコア 0.42 を達成し、LLM-CXR や従来のベースラインすべてを上回り、BLEU-1 から BLEU-3 および METEOR においても優れた性能を示した。
• VQA では、病変の有無で 92.1%、位置で 89.3%、SST（サイズ、重症度、タイプ）で 87.6% の全体精度を達成し、すべてのカテゴリで他のモデルを上回った。
• MedXChat は、両側浮腫 や 胸膜効果 などの病変を正確に再現した高忠実度の側面視 CXR を生成できたが、LLM-CXR や UniXGen は PA 視点に限定されており、側面視の生成が不可能であった。
• 定性的分析により、MedXChat は元のレポートと整合した詳細な所見と結論を含むレポートを生成しているのに対し、LLM-CXR は僅かな結論部のみを生成していることが確認された。