[論文レビュー] M-FLAG: Medical Vision-Language Pre-training with Frozen Language Models and Latent Space Geometry Optimization

Che Liu, Sibo Cheng+6 more|arXiv (Cornell University)|Jul 17, 2023

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

M-FLAGは、言語モデルを固定し、潜在空間幾何学を最適化する直交性損失を導入することで、計算効率の高い医療画像・言語事前学習フレームワークを提案する。パラメータ数を78%削減しながらも、医療画像分類、セグメンテーション、オブジェクト検出の全般的な性能がSOTA手法を上回り、特に限られたデータ（例：RSNAデータセットの1%）条件下で顕著な優位性を示す。

ABSTRACT

Medical vision-language models enable co-learning and integrating features from medical imaging and clinical text. However, these models are not easy to train and the latent representation space can be complex. Here we propose a novel way for pre-training and regularising medical vision-language models. The proposed method, named Medical vision-language pre-training with Frozen language models and Latent spAce Geometry optimization (M-FLAG), leverages a frozen language model for training stability and efficiency and introduces a novel orthogonality loss to harmonize the latent space geometry. We demonstrate the potential of the pre-trained model on three downstream tasks: medical image classification, segmentation, and object detection. Extensive experiments across five public datasets demonstrate that M-FLAG significantly outperforms existing medical vision-language pre-training approaches and reduces the number of parameters by 78\%. Notably, M-FLAG achieves outstanding performance on the segmentation task while using only 1\% of the RSNA dataset, even outperforming ImageNet pre-trained models that have been fine-tuned using 100\% of the data.

研究の動機と目的

• 医療画像における統合的視覚・言語事前学習の高コストな計算と訓練の不安定性に対処すること。
• 有効な医療画像・言語表現学習のためには、事前学習済み言語モデルの微調整が必要かどうかを調査すること。
• 潜在空間の崩壊を是正するために、潜在空間幾何学を明示的に正則化すること。
• より効率的で頑健な事前学習フレームワークを構築し、少ない可学習パラメータで高い性能を維持すること。
• 固定された言語モデルと幾何的正則化が、多様な医療画像下流タスクにどのように効果を発揮するかを実証すること。

提案手法

• 事前学習済み言語モデル（例：BERT）を固定することで、訓練の複雑さとパラメータ数を78%削減する。
• 潜在空間幾何学を正則化するための新しい直交性損失を導入し、一様性を促進し、崩壊を防止する。
• 標準的な対照的アライメント損失と直交性損失を組み合わせ、視覚・言語アライメントと潜在空間構造の両方を同時に最適化する。
• 視覚エンコーダーを用いて画像特徴を抽出し、対照的学習により固定されたテキスト特徴と一致させる。
• 特徴空間における直交性からの逸脱を最小化することで、潜在空間を一様な超球に近づける。
• 二重ストリームアーキテクチャを採用し、事前学習中は言語ストリームを固定し、視覚ストリームのみを更新する。

Figure 1: M-FLAG overview. M-FLAG consists of a vision encoder $E_{V}$ for learning vision latent $z_{v}$ , a frozen language model $E_{T}$ for extracting medical text latent $z_{t}$ , and a projector $p(\cdot)$ to map $z_{v}$ to $z_{a}$ for alignment with $z_{t}$ . M-FLAG employs an alignment loss

実験結果

リサーチクエスチョン

• RQ1 医療画像・言語事前学習において、事前学習済み言語モデルの微調整は必要か、それとも固定することで複雑さを軽減しつつ同等または優れた性能が得られるか？
• RQ2 潜在空間の崩壊は、セグメンテーションやオブジェクト検出などの医療画像下流タスクにどのように影響を与えるか？
• RQ3 直交性損失による潜在空間の明示的幾何的正則化は、標準的なアライメント損失と比較して、モデルの頑健性と性能を向上させるか？
• RQ4 提案手法は、多様な医療画像ベンチマークにおいて、パラメータ数をどれほど削減しながらも、性能を維持または向上させられるか？
• RQ5 ImageNetで事前学習されたモデルと比較して、RSNAデータセットの1%のみを用いた低データ環境下でのモデルの一般化性能はどの程度か？

主な発見

• M-FLAGは、言語モデルを固定することで、既存の医療画像・言語事前学習手法と比較して可学習パラメータ数を78%削減した。
• RSNAデータセットでは、学習データの1%のみを用いても13.7%のmAPを達成し、100%のデータで微調整されたImageNet事前学習モデルを上回った。
• SIIMセグメンテーションタスクでは、1%のデータのみを用いても52.5%のDiceスコアを達成し、低データ条件下での優れた一般化性能を示した。
• アブレーションスタディの結果、アライメント損失と直交性損失の両方を組み合わせた場合が最も高い性能を示し、直交性損失単体でもベースライン比でセグメンテーション性能が4.8%向上した。
• 言語モデルを解放すると、SIIMデータセットにおいて最大4.32%の性能低下が観察され、言語ストリームの固定が有効であることを裏付けた。
• 潜在空間の可視化結果から、M-FLAGは固定されていないバージョンと比較して、より一様で均等に分布した幾何学的構造を維持していることが確認され、直交性正則化の有効性が裏付けられた。

Figure 2: Visualization of the first 3 dominant PCA dimensions of latent space on NIH dataset. M-FLAG (green) is compared to its variants (red) when the last $n$ layers of the language model are not frozen.