[論文レビュー] Leveraging Transformers to Improve Breast Cancer Classification and Risk Assessment with Multi-modal and Longitudinal Data

Yiqiu Shen, Jungkyu Park+5 more|arXiv (Cornell University)|Nov 6, 2023

AI in cancer detection被引用数 10

ひとこと要約

Multi-modal Transformer (MMT)を導入し、マンモグラフィー、超音波、既往画像を統合して既存の乳がんを検出し、5年間のがんリスクを予測する。単一モダリティの基線および従来のマルチモーダルを上回る。

ABSTRACT

Breast cancer screening, primarily conducted through mammography, is often supplemented with ultrasound for women with dense breast tissue. However, existing deep learning models analyze each modality independently, missing opportunities to integrate information across imaging modalities and time. In this study, we present Multi-modal Transformer (MMT), a neural network that utilizes mammography and ultrasound synergistically, to identify patients who currently have cancer and estimate the risk of future cancer for patients who are currently cancer-free. MMT aggregates multi-modal data through self-attention and tracks temporal tissue changes by comparing current exams to prior imaging. Trained on 1.3 million exams, MMT achieves an AUROC of 0.943 in detecting existing cancers, surpassing strong uni-modal baselines. For 5-year risk prediction, MMT attains an AUROC of 0.826, outperforming prior mammography-based risk models. Our research highlights the value of multi-modal and longitudinal imaging in cancer diagnosis and risk stratification.

研究の動機と目的

• 単一モダリティ解析を超えるクロスモーダルおよび縦断データを活用して、乳がんスクリーニングの改善を促進する。
• マンモグラフィーと超音波を既往画像と統合してがんを検出し、将来のリスクを予測する、Transformerベースのフレームワーク（MMT）を開発する。
• 既往検査を取り入れると長期リスク層別化が向上することを示す。
• 大規模なマルチモーダル NYU データセットでモデルを評価し、放射線科医のリスクモデルおよび既存のAIシステムと比較する。

提案手法

• 各モダリティ（FFDM、DBT、Ultrasound）に専用検出器を用いてモダリティ固有の関心領域（ROI）を検出する。
• ROI特徴を共有空間へ射影し、日付、左右、モダリティ、ビュー、年齢のカテゴリー埋め込みと結合する。
• CLSトークンを用いたトランスフォーマーエンコーダを用いて、ROI間の時系列変化とクロスモーダル相互作用をモデル化する。
• MLPとシグモイド活性化を用いた加法的ハザード層を介して、連続する区間（0、120d、120d-1y、1-2y、2-3y、3-4y、4-5y）の6つの非負のリスクスコアを生成する。
• まずモダリティごとに検出器を訓練し、次にマルチモーダル系列上でトランスフォーマーと埋め込みを訓練する。100回の実行をアンサンブリングし、トップ5モデルを選択する。

実験結果

リサーチクエスチョン

• RQ1 マンモグラフィー、超音波、既往画像を組み合わせたマルチモーダルトランスフォーマーは、単一モーダルのベースラインと比較して既存の乳がん検出を改善できるか？
• RQ2 長期的な5年リスク予測は、マンモグラフィーベースのモデルを超えて統計的に有意な改善をもたらすか？
• RQ3 クロスモーダル情報の組み込みは、がん診断性能とリスク層別化にどのような影響を与えるか？
• RQ4 既往画像と現在のモダリティデータの貢献は、短期予測と長期予測でどう異なるか？

主な発見

Model	AUROC	AUPRC
GMIC (Shen et al., 2021b)	0.866	0.167
YOLOX (Ge et al., 2021)	0.876	0.172
MogaNet (Li et al., 2022)	0.874	0.181
Multi-modal Ensemble	0.925	0.251
MMT	0.943	0.518

• MMTはがん診断でAUROC 0.943およびAUPRC 0.518を達成し、すべての単一モーダルベースラインおよびマルチモーダルアンサンブルを上回った。
• 5年リスク予測では、MMTはAUROC 0.826およびAUPRC 0.524を達成し、BI-RADSおよびMiraiを上回った。
• アブレーションにより超音波は診断を改善し、既往画像は主に長期リスクに利益をもたらし、2年を超えると利得が縮小する。
• MMTは多-modal imagingと縦断的履歴を組み合わせる価値を示し、診断とリスク層別化の改善につながる。