[論文レビュー] Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning

Fuying Wang, Yuyin Zhou+3 more|arXiv (Cornell University)|Oct 12, 2022

Multimodal Machine Learning Applications被引用数 60

ひとこと要約

MGCAは疾病レベル・事例レベル・トークンレベルのクロスモーダル整合性を胸部X線画像と放射線レポートの間で活用することにより、汎用的な医療ビジュアル表現を学習し、限られたラベルデータでの分類、検出、セグメンテーションへの転移性能を高めます。

ABSTRACT

Learning medical visual representations directly from paired radiology reports has become an emerging topic in representation learning. However, existing medical image-text joint learning methods are limited by instance or local supervision analysis, ignoring disease-level semantic correspondences. In this paper, we present a novel Multi-Granularity Cross-modal Alignment (MGCA) framework for generalized medical visual representation learning by harnessing the naturally exhibited semantic correspondences between medical image and radiology reports at three different levels, i.e., pathological region-level, instance-level, and disease-level. Specifically, we first incorporate the instance-wise alignment module by maximizing the agreement between image-report pairs. Further, for token-wise alignment, we introduce a bidirectional cross-attention strategy to explicitly learn the matching between fine-grained visual tokens and text tokens, followed by contrastive learning to align them. More important, to leverage the high-level inter-subject relationship semantic (e.g., disease) correspondences, we design a novel cross-modal disease-level alignment paradigm to enforce the cross-modal cluster assignment consistency. Extensive experimental results on seven downstream medical image datasets covering image classification, object detection, and semantic segmentation tasks demonstrate the stable and superior performance of our framework.

研究の動機と目的

• 放射線レポートと対になったデータから直接医療ビジュアル表現を学習することを動機づける。
• 疾病レベル・事例レベル・領域レベルの多粒度クロスモーダル対応関係を活用して、より強い監督信号を得る。
• 事例レベル、トークン、疾病レベルの整合モジュールを開発して、下流タスクへの一般化を向上させる。
• 複数データセットにわたる分類・検出・セグメンテーションでデータ効率の高い転移を実証する。

提案手法

• インスタンス単位の画像-テキスト整合 (ITA)：真の画像-レポートペアを潜在空間で近づけるため、対称的な2つのInfoNCE損失を用いる。
• 双方向トークン-wise Alignment (CTA): クロスアテンション機構を用いて視覚トークンとテキストトークンのソフトマッチを学習し、続いてローカル整合損失 (LIA) と対照損失 (LTA) を適用。
• クロスモーダルプロトタイプ整合 (CPA)：Sinkhorn-Knoppクラスタリングを用いて画像とレポートのソフトクラスタコードを取得し、クロスモーダルプロトタイプがクロスエントロピーロスを介して整合を導く。
• 共通目的関数は ITA、CTA、CPA をバランス重みとともに結合し、汎用表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 多粒度クロスモーダル対応関係（疾病レベル、事例レベル、領域レベル）は、単一レベルの監督を超えて医療ビジュアル表現学習を改善するか。
• RQ2 インスタンス・トークン・疾病レベルの整合は、ラベル付きデータが限られる下流の医療ビジョンタスクへの転移を協調的に向上させるか。
• RQ3 MGCAは複数の胸部X線データセットにおける分類、検出、セグメンテーションでどのように性能を発揮するか。
• RQ4 学習済み表現は既存の医療画像-テキスト事前学習法と比較して堅牢かつデータ効率が高いか。

主な発見

方法	CheXpert 1% (AUC)	CheXpert 10% (AUC)	CheXpert 100% (AUC)	RSNA 1% (AUC)	RSNA 10% (AUC)	RSNA 100% (AUC)	COVIDx 1% (ACC)	COVIDx 10% (ACC)	COVIDx 100% (ACC)
MGCA(Ours, ResNet-50)	87.6	88.0	88.2	88.6	89.1	89.9	72.0	83.5	90.5
MGCA(Ours, ViT-B/16)	88.8	89.1	89.7	89.1	89.9	90.8	74.8	84.8	92.3

• MGCA with ViT-B/16はCheXpertおよびRSNAおよびCOVIDxの線形分類で最先端の結果を達成し、特に1%のラベルデータで高い性能を示す。
• MGCAは従来法に対して一貫して物体検出（RSNA、Object CXR）と意味的セグメンテーション（SIIM、RSNA）を改善し、特に低データ設定（1%）で効果を発揮する。
• トークン-wiseの整合は、ITAおよびCPAと組み合わせることで、より細かな視覚-テキスト対応を提供し、密な予測タスクを改善する。
• クロスモーダルプロトタイプ整合は疾病レベルの意味を導くことでクロスモーダルクラスタリングをガイドし、タスク間の一般化を支援する。
• アブレーションでは ITA、CTA、CPA の組み合わせが全データセットで最良の性能を生むことを示し、一般データで事前学習した自然言語VLPモデルは医療ドメインのMGCAに劣ることを示す。