[論文レビュー] RADIFUSION: A multi-radiomics deep learning based breast cancer risk prediction model using sequential mammographic images with image attention and bilateral asymmetry refinement

Hong Hui Yeoh, Andrea Liew+6 more|arXiv (Cornell University)|Apr 1, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

RADIFUSIONは、順次的マンモグラムと画像アテンション、放射線学的特徴、マルチビュー統合のためのゲーティング機構、および両側対称性に基づくファインチューニングを統合することで、乳がんリスク予測を向上させるディーブラーニングモデルである。CSAWデータセットにおいて、1年、2年、2年以上のリスク予測でそれぞれAUC 0.905、0.872、0.866を達成し、最先端のモデルを上回った。

ABSTRACT

Breast cancer is a significant public health concern and early detection is critical for triaging high risk patients. Sequential screening mammograms can provide important spatiotemporal information about changes in breast tissue over time. In this study, we propose a deep learning architecture called RADIFUSION that utilizes sequential mammograms and incorporates a linear image attention mechanism, radiomic features, a new gating mechanism to combine different mammographic views, and bilateral asymmetry-based finetuning for breast cancer risk assessment. We evaluate our model on a screening dataset called Cohort of Screen-Aged Women (CSAW) dataset. Based on results obtained on the independent testing set consisting of 1,749 women, our approach achieved superior performance compared to other state-of-the-art models with area under the receiver operating characteristic curves (AUCs) of 0.905, 0.872 and 0.866 in the three respective metrics of 1-year AUC, 2-year AUC and > 2-year AUC. Our study highlights the importance of incorporating various deep learning mechanisms, such as image attention, radiomic features, gating mechanism, and bilateral asymmetry-based fine-tuning, to improve the accuracy of breast cancer risk assessment. We also demonstrate that our model's performance was enhanced by leveraging spatiotemporal information from sequential mammograms. Our findings suggest that RADIFUSION can provide clinicians with a powerful tool for breast cancer risk assessment.

研究の動機と目的

• 順次的スクリーニングマンモグラムにおける時空間的変化を活用することで、乳がんリスク予測を向上させること。
• ディーブラーニングと放射線学的特徴を統合し、特徴表現を強化すること。
• メディオラテラル・オブリクス（MLO）およびクライオカウダル（CC）の異なるマンモグラフィー視野の最適統合を実現する新規ゲーティング機構の開発。
• 両側対称性解析を教師信号として用いて、モデル性能を向上させること。
• 実世界のスクリーニングコhortにおいて、既存の最先端モデルと比較して優れた予測性能を示すこと。

提案手法

• 本モデルは、メディオラテラル・オブリクス（MLO）およびクライオカウダル（CC）の2つの標準的視野からの順次的マンモグラム画像を処理するマルチレオロジクス深層学習アーキテクチャを採用している。
• 画像アテンション機構を適用して、マンモグラム内の臨床的に関連する領域を強調することで、特徴学習と解釈可能性を向上させている。
• セグメンテーション処理を経た乳腺領域から抽出した放射線学的特徴を、深層特徴と連結することで、表現学習を豊かにしている。
• 学習可能なゲーティング機構により、MLOおよびCC視野からの特徴を動的に統合し、予測的関連性に基づいて視野固有の寄与を最適化している。
• 両側対称性に基づくファインチューニングは、左右マンモグラムの差分ペアを用いて訓練することで実現し、早期がんに関連する微細な対称性のずれに敏感になるようにしている。
• 本モデルは、イベント発生までの時間に応じたAUC指標を用いて評価するため、スクリーニング年齢層のコhort（CSAW）データセット上で訓練および検証された。

実験結果

リサーチクエスチョン

• RQ1 単一時刻点モデルと比較して、順次的マンモグラムの統合は、長期的な乳がんリスク予測の正確性を向上させることができるか？
• RQ2 放射線学的特徴と画像アテンションの導入は、悪性変化の早期検出能力をどのように向上させるか？
• RQ3 MLOおよびCCマンモグラフィー視野からの情報統合において、視野固有のゲーティング機構は、性能向上にどの程度寄与するか？
• RQ4 両側対称性に基づくファインチューニングは、早期疾患を示す微細な組織的非対称性を捉えることで、予測性能を顕著に向上させるか？
• RQ5 1年、2年、2年以上という複数の時間枠において、RADIFUSIONは最先端モデルと比較してAUCで優れた性能を示すか？

主な発見

• RADIFUSIONは、1年後の乳がんリスク予測でAUC 0.905を達成し、既存のモデルを著しく上回った。
• 2年後および2年以上後のリスク予測では、それぞれAUC 0.872および0.866を記録し、時間枠にわたる一貫性ある性能を示した。
• 画像アテンションの統合により、モデルの注目が懸念される領域に集中し、分類能の向上に寄与した。
• 両側対称性に基づくファインチューニング戦略により、個々の画像では見えない微細な非対称性を活用することで、モデル性能が顕著に向上した。
• ゲーティング機構により、MLOおよびCC視野からの寄与が効果的にバランスされ、患者ごとにより情報の多い視野を優先する学習が可能になった。
• 本モデルは、独立したテストセット（1,749名）でも安定した性能を示し、一般化可能性と臨床的潜在的可能性を確認した。