[논문 리뷰] Leveraging Transformers to Improve Breast Cancer Classification and Risk Assessment with Multi-modal and Longitudinal Data

Yiqiu Shen, Jungkyu Park외 5명|arXiv (Cornell University)|2023. 11. 06.

AI in cancer detection인용 수 10

한 줄 요약

다중 모드 트랜스포머(MMT)를 소개합니다. 유방촬영(mammography), 초음파, 및 이전 영상 데이터를 융합하여 기존의 유방암을 탐지하고 5년 암 위험을 예측하며 단일 모달 및 이전 다모달 baselines를 능가합니다.

ABSTRACT

Breast cancer screening, primarily conducted through mammography, is often supplemented with ultrasound for women with dense breast tissue. However, existing deep learning models analyze each modality independently, missing opportunities to integrate information across imaging modalities and time. In this study, we present Multi-modal Transformer (MMT), a neural network that utilizes mammography and ultrasound synergistically, to identify patients who currently have cancer and estimate the risk of future cancer for patients who are currently cancer-free. MMT aggregates multi-modal data through self-attention and tracks temporal tissue changes by comparing current exams to prior imaging. Trained on 1.3 million exams, MMT achieves an AUROC of 0.943 in detecting existing cancers, surpassing strong uni-modal baselines. For 5-year risk prediction, MMT attains an AUROC of 0.826, outperforming prior mammography-based risk models. Our research highlights the value of multi-modal and longitudinal imaging in cancer diagnosis and risk stratification.

연구 동기 및 목표

• 교차 모달 및 종단 데이터를 활용하여 단일 모달 분석을 넘어선 더 나은 유방암 선별을 동기화한다.
• 유방촬영과 초음파를 이전 영상과 융합하는 트랜스포머 기반 프레임워크(MMT)를 개발하여 암을 탐지하고 미래 위험을 예측한다.
• 이전 검사 내역을 포함시키는 것이 장기 위험 계층화에 도움이 됨을 입증한다.
• 대형 다중 모달 NYU 데이터 세트에서 모델을 평가하고 방사선 전문의 위험 모델 및 기존 AI 시스템과 비교한다.

제안 방법

• 각 모달리티(FFDM, DBT, Ultrasound)별 전용 탐지기를 사용하여 모달리티 특이 ROIs를 감지한다.
• ROI 특징을 공유 공간으로 투사하고 범주 임베딩(날짜, 편측성, 모달리티, 시야, 연령)을 함께 연결한다.
• CLS 토큰이 있는 트랜스포머 인코더를 사용하여 시간적 변화와 ROIs 간 교차 모달 상호 작용을 모델링한다.
• MLP와 더해진 위험도 층(sigmoid 활성화)을 통해 연속 구간(0, 120d, 120d-1y, 1-2y, 2-3y, 3-4y, 4-5y)에 대한 여섯 개의 음수 없는 위험 점수를 생성한다.
• 먼저 모달리티별 탐지기를 학습시키고, 그다음 다중 모달 시퀀스에서 트랜스포머와 임베딩을 학습한다; 100번의 모델 앙상블 중 상위 5개를 선택하는 방식으로 적용한다.

실험 결과

연구 질문

• RQ1 유방촬영, 초음파, 그리고 이전 영상을 결합한 다중 모달 트랜스포머가 단일 모달 베이스라인에 비해 기존 유방암 탐지를 향상시키는가?
• RQ2 전 longitudinal 이전 영상의 통합이 유방암 5년 위험 예측을 유방촬영 기반 모델을 넘어 향상시키는가?
• RQ3 교차 모달 정보의 도입이 암 진단 성능 및 위험 계층화에 어떤 영향을 미치는가?
• RQ4 이전 영상 데이터가 현재 모달리티 데이터에 비해 단기와 장기 예측에 기여하는 바는 무엇인가?

주요 결과

모델	AUROC	AUPRC
GMIC (Shen et al., 2021b)	0.866	0.167
YOLOX (Ge et al., 2021)	0.876	0.172
MogaNet (Li et al., 2022)	0.874	0.181
Multi-modal Ensemble	0.925	0.251
MMT	0.943	0.518

• MMT는 암 진단에서 AUROC 0.943 및 AUPRC 0.518를 달성하여 모든 단일 모달 베이스라인과 다중 모달 앙상블을 능가했다.
• 5년 위험 예측에서 MMT는 AUROC 0.826 및 AUPRC 0.524를 달성하여 BI-RADS 및 Mirai를 능가했다.
• 변형 제거 실험에서 초음파가 진단을 개선하고, 이전 영상은 주로 장기 위험에 이익을 제공하며 2년을 넘어서서는 이익이 감소하는 것으로 나타났다.
• MMT는 다중 모달 영상과 종단 이력의 결합이 진단 및 위험 계층화를 개선하는 가치를 입증한다.