[논문 리뷰] MHAttnSurv: Multi-Head Attention for Survival Prediction Using Whole-Slide Pathology Images

Shuai Jiang, Arief A. Suriawinata외 1명|arXiv (Cornell University)|2021. 10. 22.

AI in cancer detection참고 문헌 44인용 수 4

한 줄 요약

MHAttnSurv는 전장 조직병리이미지(WSIs)에서 종양 슬라이드의 다양한 형태학적 패턴을 고려하여 생존 예측 성능을 향상시키기 위해 다중 헤드 어텐션 기반 메커니즘을 제안한다. 네 가지 TCGA 종양 유형에서 평가된 결과, c-index 0.640을 기록하여 이전 최고 성능 모델들의 c-index 0.603 및 0.619를 초월한다.

ABSTRACT

In pathology, whole-slide images (WSI) based survival prediction has attracted increasing interest. However, given the large size of WSIs and the lack of pathologist annotations, extracting the prognostic information from WSIs remains a challenging task. Previous studies have used multiple instance learning approaches to combine the information from multiple randomly sampled patches, but different visual patterns may contribute differently to prognosis prediction. In this study, we developed a multi-head attention approach to focus on various parts of a tumor slide, for more comprehensive information extraction from WSIs. We evaluated our approach on four cancer types from The Cancer Genome Atlas database. Our model achieved an average c-index of 0.640, outperforming two existing state-of-the-art approaches for WSI-based survival prediction, which have an average c-index of 0.603 and 0.619 on these datasets. Visualization of our attention maps reveals each attention head focuses synergistically on different morphological patterns.

연구 동기 및 목표

• 병리학에서 대규모이고 레이블이 없는 전장 조직이미지(WSIs)로부터 예후 정보를 추출하는 데 도전하는 것.
• 다중 인스턴스 학습에서 랜덤 패치 샘플링의 한계를 극복하기 위해 생물학적으로 관련성이 있는 형태학적 패턴에 초점을 맞추는 것.
• 다양한 영역의 WSIs에 대해 적응적으로 어휘를 적용하여 보다 종합적인 특징 표현을 가능하게 하는 딥러닝 모델을 개발하는 것.
• 어텐션 메커니즘을 활용하여 기존 WSI 기반 접근 방식보다 생존 예측 성능을 향상시키는 것.
• 모델의 의사결정 과정을 해석 가능한 어텐션 맵을 제공하여, 어떤 조직 패턴이 생존 예측에 가장 기여하는지 밝혀내는 것.

제안 방법

• 전장 조직이미지(WSIs)에서 추출한 패치 수준의 특징에 다중 헤드 어텐션 기반 메커니즘을 적용하여 동적이고 어텐션 가중치가 반영된 표현을 학습한다.
• WSIs의 랜덤 컷에 대해 사전 훈련된 컬러리셔널 신경망(예: ResNet)을 적용하여 패치 특징을 추출한다.
• 어텐션 메커니즘은 패치 간에 쿼리, 키, 밸류 행렬을 계산하여 관련 있는 공간 패턴에 초점을 맞춘다.
• 여러 개의 어텐션 헤드는 서로 다른 형태학적 패턴(예: 종양세포, 간질, 괴사)을 동시에 주시할 수 있도록 한다.
• 글로벌 풀링 레이어는 어텐션된 특징을 집계하고, 이를 전결합층을 통해 통과시켜 생존 결과를 예측한다.
• 생존 예측 최적화를 위해 코크스 비례 위험 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 다중 헤드 어텐션 기반 메커니즘이 생존 예측을 위해 전장 조직이미지 내 다양한 형태학적 패턴을 효과적으로 식별하고 우선순위를 정할 수 있는가?
• RQ2 WSI 기반 생존 모델링에서 어텐션 기반 특징 집합과 랜덤 패치 샘플링 또는 글로벌 평균 풀링 방식을 비교했을 때 어떤가?
• RQ3 개별 어텐션 헤드가 WSIs에서 생물학적으로 의미 있는 조직 구조에 얼마나 집중하는가?
• RQ4 제안된 어텐션 기반 메커니즘이 기존 최고 성능의 WSI 생존 모델보다 c-index 성능을 향상시키는가?
• RQ5 어텐션 맵을 통해 모델의 생존 예측 의사결정 과정에 대한 설명 가능한 통찰을 제공할 수 있는가?

주요 결과

• MHAttnSurv는 The Cancer Genome Atlas(TCGA)의 네 종양 유형에서 평균 c-index 0.640을 기록하였으며, c-index 0.603 및 0.619를 기록한 두 가지 최고 성능 모델을 능가하였다.
• 어텐션 맵의 시각화 결과, 서로 다른 어텐션 헤드가 종양세포 집합, 간질 영역, 괴사 영역 등 서로 다른 형태학적 패턴에 집중하는 것으로 확인되었다.
• 단일 패치나 글로벌 평균을 기반으로 하는 것보다 여러 관련 조직 영역에 주의를 기울임으로써 모델의 강건성과 일반화 능력이 향상되었다.
• 어텐션 메커니즘이 생존 예측의 더 명확한 해석 가능성을 제공하였으며, 어텐션 맵은 슬라이드 내 병리학적으로 관련성이 있는 구조를 강조하였다.
• 성능 향상은 모든 네 종양 유형에서 일관되게 관찰되어 이 방법의 광범위한 적용 가능성을 시사한다.
• 결과적으로 다중 헤드 어텐션 기반 메커니즘이 WSIs 내 이질적인 예후 특징을 효과적으로 포착하여 더 나은 생존 예측 성능을 이끌어냈다.