[논문 리뷰] Towards Explainable End-to-End Prostate Cancer Relapse Prediction from H&E Images Combining Self-Attention Multiple Instance Learning with a Recurrent Neural Network

Esther Dietrich, Patrick Fuhlert외 6명|arXiv (Cornell University)|2021. 11. 26.

AI in cancer detection참고 문헌 39인용 수 7

한 줄 요약

이 논문은 H&E 염색 전면 슬라이드 영상에서 시간-재발만을 감독으로 사용하여 전립선 암의 재발을 예측하는 설명 가능한 딥러닝 모델 eCaReNet을 제안한다. 자기주의 주의 다중 인스턴스 학습과 게이트드 순환 신경망을 조합함으로써 검증 AUC 0.78을 달성하여 전문 병리학자 수준의 성능을 보이며, 해석 가능성과 함께 악성 조직 영역을 주의 가중치를 통해 강조한다.

ABSTRACT

Clinical decision support for histopathology image data mainly focuses on strongly supervised annotations, which offers intuitive interpretability, but is bound by expert performance. Here, we propose an explainable cancer relapse prediction network (eCaReNet) and show that end-to-end learning without strong annotations offers state-of-the-art performance while interpretability can be included through an attention mechanism. On the use case of prostate cancer survival prediction, using 14,479 images and only relapse times as annotations, we reach a cumulative dynamic AUC of 0.78 on a validation set, being on par with an expert pathologist (and an AUC of 0.77 on a separate test set). Our model is well-calibrated and outputs survival curves as well as a risk score and group per patient. Making use of the attention weights of a multiple instance learning layer, we show that malignant patches have a higher influence on the prediction than benign patches, thus offering an intuitive interpretation of the prediction. Our code is available at www.github.com/imsb-uke/ecarenet.

연구 동기 및 목표

• 재발 시간 외에 전문가가 레이블링한 조직 영역이 필요 없는 종래의 딥러닝 모델을 개발하는 것.
• 주의 메커니즘을 활용하여 생물학적으로 관련된 조직 영역을 강조함으로써 종래의 종합 모델에 해석 가능성을 통합하는 것.
• 전립선 전면 슬라이드 레이블링 없이도 생존 예측 성능가 전문 병리학자 평가(예: ISUP) 수준에 도달할 수 있음을 입증하는 것.
• 모델의 해석 가능성을 검증하기 위해 종양 영역이 더 높은 주의 가중치를 받는지 확인하는 것.

제안 방법

• 모델는 전면 슬라이드 영상에서 가장 예측력 있는 영상 패치를 식별하기 위해 다중 인스턴스 학습(MIL) 프레임워크 내에서 자기주의 주의 메커니즘을 사용한다.
• 게이트드 순환 신경망(GRU)은 시간에 따라 주의 가중치가 부여된 패치를 처리하여 생존 궤적을 모델링한다.
• 모델는 Gleason 등급과 같은 강력한 레이블이 필요 없이 생존 시간(BCR)만을 지도로 사용하여 엔드 투 엔드로 훈련된다.
• MIL 계층의 주의 가중치는 어떤 조직 영역이 결과에 가장 영향을 미치는지 식별함으로써 모델 예측을 해석하는 데 사용된다.
• 모델는 환자별 생존 곡선, 위험 점수, 위험군을 출력하여 임상 의사결정 지원을 가능하게 한다.
• 아블레이션 연구 및 합성 및 실재 데이터셋에서의 실험을 통해 모델의 성능과 주의 기반 해석 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 재발 시간만을 감독으로 사용하고 전문가가 레이블링한 조직 영역이 없는 경우, 딥러닝 모델이 전립선 암 재발 예측에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 다중 인스턴스 학습 프레임워크 내에서 주의 메커니즘이 종양 조직 영역을 강조함으로써 임상적으로 해석 가능한 설명을 제공할 수 있는가?
• RQ3 재발 시간만으로 훈련된 엔드 투 엔드 모델의 성능이 전문가가 레이블링한 ISUP 평가와 비교해 어떻게 되는가?
• RQ4 모델의 주의 가중치가 전문가가 표시한 종양 영역과 같은 병리학적으로 관련된 영역과 상관이 있는가?
• RQ5 모델은 다양한 데이터 분할, 특히 케이싱된 케이스를 포함해 잘 校정되고 강건한가?

주요 결과

• 검증 세트에서 누적 동적 AUC는 0.78, 테스트 세트에서는 0.77를 기록하여 전문 병리학자의 ISUP 평가 성능과 동일한 성능을 달성했다.
• 모델는 시간이 지남에 따라 신뢰할 수 있는 생존 확률 추정치를 생성하여 잘 校정되어 있다.
• 알려진 패치 레이블링이 있는 합성 데이터셋에서 종양 패치는 양성 패치보다 유의미하게 높은 주의 가중치를 받았다(p < 0.01).
• 실제 환자 영상에서 주의 가중치가 가장 높은 모든 패치는 전문가가 레이블링한 종양 영역 내에 위치해 있었으며, 이는 모델이 관련 병리학적 영역에 집중하고 있음을 확인했다.
• 테스트 세트에서 종양으로 표시된 패치는 비종양 패치보다 유의미하게 높은 주의 가중치를 받았으며, 임상 진단과의 일치를 보였다.
• 아블레이션 변형을 통해 다양한 주의 메커니즘을 사용한 경우에도 AUC가 0.74에서 0.76 사이로 잘 일반화됨을 확인했다.