[論文レビュー] UnICLAM:Contrastive Representation Learning with Adversarial Masking for Unified and Interpretable Medical Vision Question Answering

Chenlu Zhan, Peng Peng+3 more|arXiv (Cornell University)|Dec 21, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

UnICLAM は、敵対的マスキングを用いた対照的表現学習により、統一的かつ解釈可能な医療画像質問応答モデルを提案する。ビジョンとテキストエンコーダー間の段階的ソフトパラメータ共有を強制し、データ拡張に統一的な敵対的マスキングを適用することで、UnICLAM は VQA-RAD および SLAKE ベンチマークで最先端の性能を達成し、レントゲン画像と CT 画像のデータセットでそれぞれ 95.9% および 92.4% の正確性を達成した。同時に、意味的に整合したマスクを用いることで強力なアテホック解釈可能性を実現した。

ABSTRACT

Medical Visual Question Answering (Medical-VQA) aims to to answer clinical questions regarding radiology images, assisting doctors with decision-making options. Nevertheless, current Medical-VQA models learn cross-modal representations through residing vision and texture encoders in dual separate spaces, which lead to indirect semantic alignment. In this paper, we propose UnICLAM, a Unified and Interpretable Medical-VQA model through Contrastive Representation Learning with Adversarial Masking. Specifically, to learn an aligned image-text representation, we first establish a unified dual-stream pre-training structure with the gradually soft-parameter sharing strategy. Technically, the proposed strategy learns a constraint for the vision and texture encoders to be close in a same space, which is gradually loosened as the higher number of layers. Moreover, for grasping the unified semantic representation, we extend the adversarial masking data augmentation to the contrastive representation learning of vision and text in a unified manner. Concretely, while the encoder training minimizes the distance between original and masking samples, the adversarial masking module keeps adversarial learning to conversely maximize the distance. Furthermore, we also intuitively take a further exploration to the unified adversarial masking augmentation model, which improves the potential ante-hoc interpretability with remarkable performance and efficiency. Experimental results on VQA-RAD and SLAKE public benchmarks demonstrate that UnICLAM outperforms existing 11 state-of-the-art Medical-VQA models. More importantly, we make an additional discussion about the performance of UnICLAM in diagnosing heart failure, verifying that UnICLAM exhibits superior few-shot adaption performance in practical disease diagnosis.

研究の動機と目的

• 分離されたビジョンとテキストエンコーダーを用いる既存の医療 VQA モデルにおける意味的整合性の欠如に対処すること。
• 段階的ソフトパラメータ共有を通じてビジョンとテキストエンコーダーの統一により、クロスモーダル表現学習を向上させること。
• 統一的な方法で敵対的マスキングを対照的学習に拡張し、モデルの解釈可能性を向上させること。
• 後処理の説明ツールに依存するのではなく、訓練段階に解釈可能性を組み込む「アテホック解釈可能性」を実現すること。
• 特に心不全の分野において、実臨床診断における少サンプル一般化能力を評価すること。

提案手法

• ビジョンとテキストエンコーダーが層ごとに $l_2$ パラメータ距離ペナルティを用いて段階的にパラメータを共有する、統一されたデュアルストリーム事前学習構造が導入された。
• ソフトパラメータ共有戦略により、下位層から上位層へと制約が徐々に緩和され、初期表現が過度に制約されないよう促進された。
• 敵対的マスキングが統一的対照的表現学習に拡張された：エンコーダーは元のサンプルとマスキングされたサンプル間の距離を最小化するが、マスキングモジュールはこの距離を敵対的に最大化する。
• 敵対的マスキングモジュールは、ビジョンおよびテキストの両方に対して意味的に意味のあるマスクを生成し、整合性と解釈可能性を向上させた。
• 訓練段階で対応する意味的に整合したビジョンおよびテキストマスクを生成することで、後処理のツールに依存しないアテホック解釈可能性を実現した。
• モデルは医療画像・テキストペアで事前学習され、VQA ベンチマーク（VQA-RAD や SLAKE など）で微調整された。

実験結果

リサーチクエスチョン

• RQ1 段階的ソフトパラメータ共有を用いた統一的デュアルストリームアーキテクチャは、医療 VQA におけるクロスモーダル整合性を向上させることができるか？
• RQ2 敵対的マスキングを統一的対照的学習に拡張することで、医療 VQA における性能と解釈可能性が向上するか？
• RQ3 提案手法は、心不全検出のような実臨床診断における強力な少サンプル一般化能力を達成できるか？
• RQ4 アテホック解釈可能性である敵対的マスクは、Grad-CAM などの後処理手法と比較して、意味的関連性と正確性の面で優れているか？
• RQ5 統一的表現学習フレームワークは、標準的な医療 VQA ベンチマークで、既存の最先端モデルをどの程度上回るか？

主な発見

• UnICLAM は VQA-RAD ベンチマークのレントゲン画像データセットで 95.9% の全体的正確性を達成し、CT データセットで 92.4% を達成した。これは、先行する最先端モデルを顕著に上回った。
• MEVF+BAN という強力なベースラインと比較して、CT では 11.2%、X 線では 10.7% の正確性向上を達成した。
• MMBERT と比較して、X 線データセットでは 9.1%、CT データセットでは 9.5% の正確性向上を達成した。
• PubMedCLIP よりも X 線データセットで 6.0%、CT データセットで 6.9% の正確性向上を達成した。特に特定の質問タイプ（Q1：+5.8%、+6.5%；Q2：+6.6%、+7.1%）では、より顕著な向上が見られた。
• UnICLAM が生成する敵対的マスクは、心臓影や肺血管影といった臨床的に関連する領域を正確に局所化した。一方、MEVF+BAN は無関係な単語や背景に注目していた。
• 統一的敵対的マスキング手法は、元来のランダムマスクとは異なり、意味的に整合したビジョンおよびテキストマスクを生成し、後処理ツールに依存しない強力なアテホック解釈可能性を実現した。