[論文レビュー] AliFuse: Aligning and Fusing Multi-modal Medical Data for Computer-Aided Diagnosis

Qiuhui Chen, Yi Hong|arXiv (Cornell University)|Jan 2, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、対照的学習によるクロスモーダル整合とクロスアテンションによる特徴統合を活用し、MRIスキャンと人口統計、検査結果、臨床要約などの非画像臨床データを統合するトランスフォーマー基盤のビジョン・ランゲージモデル、AliFuseを提案する。このモデルは、5つの公開ADデータセットにおいて最先端の性能を達成し、画像のみのモデルよりも13%以上の精度向上を達成した。

ABSTRACT

Medical data collected for diagnostic decisions are typically multimodal, providing comprehensive information on a subject. While computer-aided diagnosis systems can benefit from multimodal inputs, effectively fusing such data remains a challenging task and a key focus in medical research. In this paper, we propose a transformer-based framework, called Alifuse, for aligning and fusing multimodal medical data. Specifically, we convert medical images and both unstructured and structured clinical records into vision and language tokens, employing intramodal and intermodal attention mechanisms to learn unified representations of all imaging and non-imaging data for classification. Additionally, we integrate restoration modeling with contrastive learning frameworks, jointly learning the high-level semantic alignment between images and texts and the low-level understanding of one modality with the help of another. We apply Alifuse to classify Alzheimer's disease, achieving state-of-the-art performance on five public datasets and outperforming eight baselines.

研究の動機と目的

• 画像と非画像臨床データの両方を統合して、より良いコンピュータ支援診断を実現するための、多モーダル医療データの有効な統合に取り組むこと。
• 視覚的および言語的表現を統一された空間に統合することで、強固で包括的な診断分類を可能にするフレームワークを構築すること。
• 構造的MRI、人口統計情報、検査結果、臨床ナラティブを含む多様なデータタイプを統合することで、アルツハイマー病分類の診断性能を向上させること。
• 臨床数値（検査値や年齢など）をテキスト中により効果的に処理できるようにするため、特別な損失関数を導入してモデルの感受性を高めること。

提案手法

• 医療画像および非画像テキストデータを、トランスフォーマー基盤のアーキテクチャで共同処理可能なビジョンおよび言語トークンに変換する。
• 画像とテキストの埋め込みを共有表現空間に統合するために、画像・テキスト対照的学習を用い、クロスモーダル理解を強化する。
• 分類処理中に動的かつ文脈に応じた特徴統合を可能にするために、画像トークンとテキストトークンの間でクロスアテンション機構を実装する。
• 臨床数値（例：検査値、年齢）をテキスト中に含む場合のモデル感受性を向上させるために、特別な数値損失関数（$L_{\text{num}}$）を導入する。
• 生のMRIボリュームと非構造的／構造的臨床データを用いて、5つの大きな公開ADデータセット（ADNI、NACC、OASIS、AIBL、MIRIAD）でエンドツーエンドにモデルを訓練する。
• 分類の前段階で多モーダル特徴を抽出・統合するために、事前学習済みのビジョンエンコーダーと微調整済みのテキストエンコーダーを活用する。

実験結果

リサーチクエスチョン

• RQ1 統一されたビジョン・ランゲージモデルは、MRIスキャンと非画像臨床データ（人口統計、検査結果、臨床要約など）を効果的に統合し、アルツハイマー病診断を向上させることができるか？
• RQ2 対照的学習による明示的なクロスモーダル統合は、単純な特徴連結やラテナル統合と比較して、診断性能にどのように影響を与えるか？
• RQ3 人口統計、検査結果、臨床要約などの異なる非画像データタイプが、アルツハイマー病分類における診断精度に果たす相対的寄与度は何か？
• RQ4 テキスト内の数値（例：検査値、年齢）に特化した損失関数は、臨床データ処理におけるモデル性能をどの程度向上させるか？
• RQ5 モデルのアテンションメカニズムは、画像およびテキスト両方で臨床的に重要な特徴をどのように反映しているか？

主な発見

• AliFuseは5つの公開アルツハイマー病データセットで最先端の性能を達成し、ADNIではテスト精度87.93%を記録。画像のみのベースラインと比較して13ポイント以上も優れている。
• テキストのみのベースラインと比較して6%以上の精度向上を達成し、ADNIにおいてSOTA手法Ireneを4%以上上回った。
• 非画像データ、特に検査結果の統合が性能向上に最も寄与しており、非画像データをすべて削除した場合と比較して、検査結果単体でも3%以上の精度向上が確認された。
• アブレーションスタディの結果、統合損失関数と数値損失関数（$L_{\text{num}}$）の両方が重要であることが確認され、後者だけでも3%以上の精度向上をもたらした。
• アテンション可視化の結果、AliFuseは画像では脳室や皮質といった臨床的関連特徴、テキストでは「MMSE」、「CDR」、「論理的記憶」、「女性」などのキーワードに注目していることがわかった。
• t-SNE可視化により、統合された多モーダル特徴は単モーダルまたは非統合多モーダル表現よりも優れたクラス分離を示しており、NC、MCI、ADの各群が明確にクラスタリングされていることが確認された。