[論文レビュー] MedBLIP: Bootstrapping Language-Image Pre-training from 3D Medical Images and Texts

Qiuhui Chen, Xinyue Hu+2 more|arXiv (Cornell University)|May 18, 2023

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

MedBLIP は frozen 2D 視覚エンコーダと frozen LLM からブートストラップした軽量な視覚-言語 CAD システムで、3D 医療画像と EHR テキストを統合し、ゼロショットの AD/MCI 分類と医療 VQA を可能にする。

ABSTRACT

Vision-language pre-training (VLP) models have been demonstrated to be effective in many computer vision applications. In this paper, we consider developing a VLP model in the medical domain for making computer-aided diagnoses (CAD) based on image scans and text descriptions in electronic health records, as done in practice. To achieve our goal, we present a lightweight CAD system MedBLIP, a new paradigm for bootstrapping VLP from off-the-shelf frozen pre-trained image encoders and frozen large language models. We design a MedQFormer module to bridge the gap between 3D medical images and 2D pre-trained image encoders and language models as well. To evaluate the effectiveness of our MedBLIP, we collect more than 30,000 image volumes from five public Alzheimer's disease (AD) datasets, i.e., ADNI, NACC, OASIS, AIBL, and MIRIAD. On this largest AD dataset we know, our model achieves the SOTA performance on the zero-shot classification of healthy, mild cognitive impairment (MCI), and AD subjects, and shows its capability of making medical visual question answering (VQA). The code and pre-trained models is available online: https://github.com/Qybc/MedBLIP.

研究の動機と目的

• 3D 医療画像と補完的な EHR テキストを統合して computer-aided diagnosis (CAD) を実現する動機付け。
• frozen 画像エンコーダと frozen 大規模言語モデル (LLMs) を用いる軽量な VLP フレームワークの開発。
• MedQFormer を導入して 3D 脳 MRI ボリュームと 2D の事前学習済みエンコーダ・LLM を結ぶ。
• 最小計算量（単一 RTX 3090）で大規模 AD データセットを用いたゼロショット分類と医療 VQA の実証。
• 診断 CAD アーキテクチャの軽量性と多モーダル性のロバスト性を示し、他の疾病・モダリティへ拡張可能性を示す。

提案手法

• 3D MRI ボリュームを learnable patch embedding を用いて 1D の画像埋め込みに変換し、 frozen の 2D 視覚エンコーダと互換性を持たせる。
• MedQFormer を導入し learnable queries を用いて視覚特徴を言語モデルの潜在空間とクロスアテンションで揃える。
• 視覚とテキストの二重ストリームエンコーダと言語モデルデコーダを採用して VQA 設定で回答を生成。
• base LM を大部分凍結したまま LoRA（低ランクアダプター）でファインチューニングして一般化を維持。
• 画像–テキスト対比損失でモダリティを整列させ、生成のために LM クロスエントロピ損失を用いる。
• 大規模な多データセット Alzheimer’s コレクションを用いて AD/MCI 分類と医療 VQA のゼロショットタスクを評価。

実験結果

リサーチクエスチョン

• RQ1 軽量の多モーダル CAD システムは 3D 医療画像とテキストの EHR 説明を統合してゼロショット診断を実現できるか？
• RQ2 MedQFormer は 3D MRI ボリュームと frozen な 2D 視覚エンコーダを効果的に橋渡しし、言語モデルと整合させるか？
• RQ3 LoRA ベースの生物医療 LM のファインチューニングだけで競争力のあるゼロショット AD/MCI 分類と VQA が達成できるか？
• RQ4 プロンプト構造と多モーダル ITC 損失がゼロショット CAD の性能に与える影響はどの程度か？
• RQ5 MedBLIP は ADNI/NACC/OASIS データセットにおいて 2D ベースラインおよびより大きな視覚エンコーダと比較してどうか？

主な発見

Methods	LM	#Learnable	ADNI	NACC	OASIS	AIBL	MIRIAD
FLAN-T5 (Text only)	3.4B	-	-	37.0%	39.5%	46.7%	33.3%	60.0%
Ours w/ T5 (Frozen)	151M	-	50.5%	69.2%	61.3%	54.7%	64.0%
LoRA	156M	-	64.0%	77.3%	75.8%	59.2%	66.8%
BioGPT (Text only)	1.5B	-	-	25.7%	21.7%	28.3%	26.7%	50.0%
Ours w/ BioGPT (Frozen)	151M	-	56.3%	66.5%	66.0%	60.7%	55.2%
LoRA	156M	-	62.2%	72.3%	71.7%	62.4%	59.7%
BioMedLM (Text only)	2.7B	-	-	62.5%	63.5%	61.8%	65.7%	46.3%
Ours w/ BioMedLM (Frozen)	151M	-	71.2%	82.0%	79.8%	77.8%	66.1%
LoRA	154M	-	78.7%	83.3%	85.3%	80.8%	71.0%

• MedBLIP は ADNI、NACC、OASIS、AIBL、MIRIAD データセット全体で強力なゼロショット分類を達成し、LoRA ファインチューニングを伴う BioMedLM を用いる場合にいくつかのベースラインを上回る。
• MedQFormer は 3D MRIs と frozen の 2D 視覚エンコーダの間に軽量で効果的な橋渡しを提供し、ViT-G エンコーダと比べて精度は競争力がありつつパラメータは格段に少ない（ViT-G の 15.1%）。
• プロンプト構造の影響は限定的で、通常のプロンプトが一部データセットでやや優れているが差は小さい。
• 画像と診断 Q&A の第二の ITC 損失を含めると、すべてのデータセットで精度が向上する。
• モデル全体を通じて、BioMedLM と LoRA を組み合わせた MedBLIP がゼロショット CAD の総合パフォーマンスで最良。