[논문 리뷰] RADIFUSION: A multi-radiomics deep learning based breast cancer risk prediction model using sequential mammographic images with image attention and bilateral asymmetry refinement

Hong Hui Yeoh, Andrea Liew외 6명|arXiv (Cornell University)|2023. 04. 01.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

RADIFUSION은 순차적 유방 조영 사진과 영상 주의, 방사성형 특징, 다중 시각 융합을 위한 게이팅 메커니즘, 양측 비대칭 기반 미세조정을 통합하여 유방암 위험 예측을 향상시키는 딥러닝 모델이다. CSAW 데이터셋에서 1년, 2년, 2년 이상 위험 예측에 대해 각각 AUC 0.905, 0.872, 0.866를 기록하여 최신 기술 모델을 능가했다.

ABSTRACT

Breast cancer is a significant public health concern and early detection is critical for triaging high risk patients. Sequential screening mammograms can provide important spatiotemporal information about changes in breast tissue over time. In this study, we propose a deep learning architecture called RADIFUSION that utilizes sequential mammograms and incorporates a linear image attention mechanism, radiomic features, a new gating mechanism to combine different mammographic views, and bilateral asymmetry-based finetuning for breast cancer risk assessment. We evaluate our model on a screening dataset called Cohort of Screen-Aged Women (CSAW) dataset. Based on results obtained on the independent testing set consisting of 1,749 women, our approach achieved superior performance compared to other state-of-the-art models with area under the receiver operating characteristic curves (AUCs) of 0.905, 0.872 and 0.866 in the three respective metrics of 1-year AUC, 2-year AUC and > 2-year AUC. Our study highlights the importance of incorporating various deep learning mechanisms, such as image attention, radiomic features, gating mechanism, and bilateral asymmetry-based fine-tuning, to improve the accuracy of breast cancer risk assessment. We also demonstrate that our model's performance was enhanced by leveraging spatiotemporal information from sequential mammograms. Our findings suggest that RADIFUSION can provide clinicians with a powerful tool for breast cancer risk assessment.

연구 동기 및 목표

• 순차적 스크리닝 유방 조영 사진의 시공간적 변화를 활용하여 유방암 위험 예측을 향상시키기.
• 딥러닝과 방사성형 특징을 융합하여 향상된 특징 표현을 도모하기.
• 다양한 유방 조영 사진 시각(MLO 및 CC) 간 최적의 융합을 위한 신규 게이팅 메커니즘 개발하기.
• 양측 비대칭 분석을 감독 신호로 활용하여 모델 성능을 미세조정하기.
• 실제 스크리닝 코hort에서 기존 최신 기술 모델 대비 뛰어난 예측 성능을 입증하기.

제안 방법

• 모델는 두 가지 표준 시각(MLO 및 CC)에서 얻은 순차적 유방 조영 사진을 처리하는 다중 방사성형 딥러닝 아키텍처를 활용한다.
• 영상 주의 메커니즘이 유방 조영 사진의 임상적으로 유의미한 영역을 강조하여 특징 학습과 해석 가능성 향상에 기여한다.
• 세분화된 유방 영역에서 추출한 방사성형 특징는 딥러닝 특징와 결합되어 표현 학습을 풍부하게 한다.
• 학습 가능한 게이팅 메커니즘이 MLO 및 CC 시각의 특징을 동적으로 융합하여 예측 유의미성에 기반한 시각별 기여도를 최적화한다.
• 양측 비대칭 기반 미세조정은 쌍으로 제공되는 좌우 유방 조영 사진의 차이를 기반으로 학습하여, 초기 암과 관련된 미세한 비대칭에 민감도를 높인다.
• 모델는 Cohort of Screen-Aged Women (CSAW) 데이터셋에서 학습 및 검증되었으며, 시간에 따른 사건 발생 AUC 지표를 사용하여 성능 평가되었다.

실험 결과

연구 질문

• RQ1 단일 시간점 모델 대비 순차적 유방 조영 사진 융합이 장기적 유방암 위험 예측 정확도를 향상시킬 수 있는가?
• RQ2 방사성형 특징 및 영상 주의의 통합이 조기 악성 변화 탐지 능력을 향상시키는가?
• RQ3 시각별 게이팅 메커니즘이 MLO 및 CC 유방 조영 사진의 정보 융합에서 성능 향상에 얼마나 기여하는가?
• RQ4 양측 비대칭 기반 미세조정이 조기 질환을 나타내는 미세한 조직 비대칭을 포착함으로써 예측 성능을 유의미하게 향상시키는가?
• RQ5 RADIFUSION은 1년, 2년, 2년 이상의 다양한 시간 수순에서 기존 최신 기술 모델 대비 AUC 측면에서 어떻게 비교되는가?

주요 결과

• RADIFUSION은 1년 유방암 위험 예측에서 AUC 0.905를 기록하여 기존 모델을 뛰어넘었다.
• 2년 및 2년 이상 위험 예측에 대해 각각 AUC 0.872 및 0.866를 기록하여 시간 수순 전반에 걸쳐 일관된 성능을 보였다.
• 영상 주의 통합으로 인해 모델의 집중력이 의심스러운 영역으로 향해 기여도가 향상되어 분류 능력이 향상되었다.
• 양측 비대칭 기반 미세조정 전략은 개별 이미지에서는 보이지 않는 미세한 비대칭을 활용하여 모델 성능을 유의미하게 향상시켰다.
• 게이팅 메커니즘이 MLO 및 CC 시각의 기여도를 효과적으로 균형 조절하였으며, 환자별로 더 정보가 많은 시각을 우선시하는 것을 학습했다.
• 독립된 테스트 세트(1,749명)에서의 성능은 모델의 일반화 능력과 임상 잠재력을 확인하는 데 기여했다.