[논문 리뷰] Multi-modal AI for comprehensive breast cancer prognostication

Jan Witowski, Ke‐Wu Zeng외 49명|arXiv (Cornell University)|2024. 10. 28.

AI in cancer detection인용 수 4

한 줄 요약

이 연구는 디지털 병리 영상과 임상 데이터를 통합하는 다중모달 AI 모델을 소개하여 유방암의 재발 예측을 향상시킨다. 전체 슬라이드 영상에 기반한 시각 트랜스포머 기반 기초 모델과 임상 변수를 사용하여 AI는 외부 검증에서 C-index 0.71을 달성하였으며, Oncotype DX(0.61)를 능가하였고, 모든 주요 아형, 특히 TNBC에서도 독립적인 예후적 가치를 제공하였다.

ABSTRACT

Treatment selection in breast cancer is guided by molecular subtypes and clinical characteristics. However, current tools including genomic assays lack the accuracy required for optimal clinical decision-making. We developed a novel artificial intelligence (AI)-based approach that integrates digital pathology images with clinical data, providing a more robust and effective method for predicting the risk of cancer recurrence in breast cancer patients. Specifically, we utilized a vision transformer pan-cancer foundation model trained with self-supervised learning to extract features from digitized H&E-stained slides. These features were integrated with clinical data to form a multi-modal AI test predicting cancer recurrence and death. The test was developed and evaluated using data from a total of 8,161 female breast cancer patients across 15 cohorts originating from seven countries. Of these, 3,502 patients from five cohorts were used exclusively for evaluation, while the remaining patients were used for training. Our test accurately predicted our primary endpoint, disease-free interval, in the five evaluation cohorts (C-index: 0.71 [0.68-0.75], HR: 3.63 [3.02-4.37, p<0.001]). In a direct comparison (n=858), the AI test was more accurate than Oncotype DX, the standard-of-care 21-gene assay, achieving a C-index of 0.67 [0.61-0.74] versus 0.61 [0.49-0.73], respectively. Additionally, the AI test added independent prognostic information to Oncotype DX in a multivariate analysis (HR: 3.11 [1.91-5.09, p<0.001)]). The test demonstrated robust accuracy across major molecular breast cancer subtypes, including TNBC (C-index: 0.71 [0.62-0.81], HR: 3.81 [2.35-6.17, p=0.02]), where no diagnostic tools are currently recommended by clinical guidelines. These results suggest that our AI test improves upon the accuracy of existing prognostic tests, while being applicable to a wider range of patients.

연구 동기 및 목표

• 디지털 병리학 및 임상 데이터를 통합하여 종합적인 다중모달 AI 시스템을 개발하여 유방암의 예후를 평가하는 것.
• 현재의 유전자 아님 검사들이 HR+ 환자에 국한되어 있고 정확도가 제한되어 있다는 한계를 극복하는 것.
• TNBC를 포함한 모든 유방암 아형에서 재발 위험도 예측을 향상시키는 것. 이는 표준 진단 도구가 없는 분야이다.
• 일상적으로 이용 가능한 임상 및 조직병리학적 데이터를 통합하여 확장 가능하고 접근성이 높은 도구를 만들고, 개인화된 치료 결정을 향상시키는 것.
• 다양하고 다국적 환자 코hort에서의 모델의 강건성과 일반화 능력을 입증하기 위해 독립적인 외부 검증을 수행하는 것.

제안 방법

• 400만 개의 병리 영상 패치에서 얻은 전암 종양 데이터셋을 기반으로, 40000만 개의 병리 영상 패치를 대상으로 자기지도 학습을 통해 사전 훈련된 시각 트랜스포머 기반 기초 모델인 Kestrel을 개발하였다.
• 전체 슬라이드 영상에 대해 Kestrel을 사용하여 임bedding을 수행하고, 패치 수준의 특징을 평균/최대 풀링 및 게이트형 주목적 기반 다중 예외 학습(MIL)을 통해 시간-이벤트 모델링에 활용하였다.
• 시간-이벤트 예측은 코크스 비례 위험 모델과 이산 시간 생존 모델을 사용하였으며, 과적합을 방지하기 위해 L1/L2 정규화 손실 함수를 적용하였다.
• 임상 변수(예: 연령, ER/PR/HER2 상태, T/N 단계)는 CatBoost를 사용하여 처리하였고, AFT 손실과 세 가지 분포가정(정규, 로지스틱, 극단가치)을 적용하였다.
• 병리학 및 임상 임베딩을 연결하여 6개 국가에서 10개 코hort에 걸쳐 총 4,659명의 환자 데이터를 기반으로 최종 다중모달 위험 점수 모델을 훈련시켰다.
• 모델 성능은 5개의 독립 코hort에서 3,502명의 환자 대상으로 평가되었으며, HR+ 및 TNBC 아형 모두 포함되었고, 외부 검증과 Oncotype DX와의 직접 비교가 수행되었다.

실험 결과

연구 질문

• RQ1 디지털 병리 영상과 임상 데이터를 융합한 다중모달 AI 모델이 현재의 표준 유전자 아님 검사보다 유방암 재발 위험 예측 성능을 향상시킬 수 있는가?
• RQ2 이 AI 모델이 Oncotype DX를 포함한 기존 임상 및 유전자 요인 외부에서 독립적인 예후적 가치를 제공하는가?
• RQ3 TNBC와 같이 표준 예후 도구가 없는 분야에서도 모델이 다양한 인구 및 아형에 대해 일반화 가능한가?
• RQ4 AI 모델의 성능이 재발에 대한 분류 능력(C-index)과 위험 비율 측면에서 Oncotype DX와 비교하여 어떻게 되는가?
• RQ5 대규모 병리 영상 데이터셋에서의 자기지도 사전 훈련이 특징 추출 및 이후 예후 성능 향상에 기여하는가?

주요 결과

• 다중모달 AI 모델은 5개의 외부 검증 코hort에서 질병 자유 간격 예측에 대해 C-index 0.71(95% CI: 0.68–0.75)을 달성하여 뛰어난 분류 성능를 입증하였다.
• Oncotype DX(N=858)와의 직접 비교에서 AI 모델은 표준 치료 기준 검사보다 뛰어난 성능을 보였으며, C-index는 각각 0.67(0.61–0.74) 대비 0.61(0.49–0.73)을 기록하였다.
• 다중변량 분석에서 AI 모델은 Oncotype DX 외부에서 독립적인 예후 정보를 제공하였으며, 고위험 대비 저위험 환자에서 위험 비율(HR)은 3.11(95% CI: 1.91–5.09, p<0.01)이었다.
• 모델은 모든 주요 아형, 특히 TNBC에서도 높은 성능를 유지하였으며, C-index는 0.71(0.62–0.81)이며 재발에 대한 위험 비율은 3.81(2.35–6.17, p=0.02)이었다.
• 미국, 유럽, 아시아의 다양한 데이터셋에서 일관된 성능를 보이며, 모델의 강건성과 일반화 능력을 확인하였다.
• 자기지도 병리학 표현 학습과 임상 데이터의 통합은 특히 TNBC와 같이 지원이 부족한 아형에서 위험도 분류를 크게 향상시켰다.