[논문 리뷰] Uncertainty-Informed Deep Learning Models Enable High-Confidence Predictions for Digital Histopathology

James M. Dolezal, Andrew Srisuwananukorn외 14명|arXiv (Cornell University)|2022. 04. 09.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 디지털 조직병리학에서 드롭아웃 기반의 불확실성 추정과 데이터 기반 신뢰도 임계값을 사용하여 모델 신뢰도를 향상시키기 위한 새로운 불확실성 정량화(UQ) 프레임워크를 제안한다. 다양한 데이터셋, 특히 비폐암 병변 슬라이드를 포함한 외부 분포(out-of-distribution) 데이터에 대해서도 고신뢰도 예측이 표준 모델보다 뛰어난 성능을 보이며, 실제 임상 환경에서의 구현 조건에서도 높은 정확도를 유지함을 입증한다.

ABSTRACT

A model's ability to express its own predictive uncertainty is an essential attribute for maintaining clinical user confidence as computational biomarkers are deployed into real-world medical settings. In the domain of cancer digital histopathology, we describe a novel, clinically-oriented approach to uncertainty quantification (UQ) for whole-slide images, estimating uncertainty using dropout and calculating thresholds on training data to establish cutoffs for low- and high-confidence predictions. We train models to identify lung adenocarcinoma vs. squamous cell carcinoma and show that high-confidence predictions outperform predictions without UQ, in both cross-validation and testing on two large external datasets spanning multiple institutions. Our testing strategy closely approximates real-world application, with predictions generated on unsupervised, unannotated slides using predetermined thresholds. Furthermore, we show that UQ thresholding remains reliable in the setting of domain shift, with accurate high-confidence predictions of adenocarcinoma vs. squamous cell carcinoma for out-of-distribution, non-lung cancer cohorts.

연구 동기 및 목표

• 딥 러닝 모델의 디지털 조직병리학 적용을 위한 임상적으로 해석 가능한 불확실성 정량화(UQ) 방법을 개발한다.
• 데이터 기반 임계값을 활용해 불확실한 출력를 식별하고 걸러내어 고신뢰도 예측을 가능하게 한다.
• 도메인 이동 및 외부 분포 데이터를 포함한 실제 임상 환경 조건에서의 모델 성능을 평가한다.
• 모델이 자체 예측 불확실성을 표현할 수 있도록 하여 임상적 신뢰를 확보한다.
• 다양한 기관 및 외부 데이터셋에서 UQ 기반 예측의 견고성을 검증한다.

제안 방법

• 전체 슬라이드 영상에 대해 훈련된 컨volutional 신경망에서 예측 불확실성을 추정하기 위해 몬테카를로 드롭아웃을 활용한다.
• 검증 세트를 사용하여 훈련 중에 예측을 저신뢰도, 중간신뢰도, 고신뢰도로 분류할 수 있는 불확실성 임계값을 결정한다.
• 훈련 데이터의 불확실성 분포에서 유도된 고정된 컷오프를 사용하여 고신뢰도 예측을 선별한다.
• 고정된 임계값을 사용하여 비지도, 비암호화된 전체 슬라이드 영상에서 모델을 평가함으로써 실제 임상 환경을 시뮬레이션한다.
• 일관된 일반화 능력과 견고성을 평가하기 위해 다수 기관에서 확보한 두 개의 대규모 외부 데이터셋에서 방법을 시험한다.
• 비폐암 병변 전체 슬라이드 영상로 도메인 이동에 대한 견고성을 평가하여 외부 분포 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 드롭아웃 기반 불확실성 추정은 디지털 조직병리학에서 고신뢰도 예측을 신뢰할 만하게 식별할 수 있는가?
• RQ2 UQ 기반 필터링 예측은 외부 데이터셋에서 정확도와 신뢰성 측면에서 표준 딥 러닝 모델보다 어떻게 비교되는가?
• RQ3 UQ 임계값 전략은 비폐암 전체 슬라이드 영상에 적용될 경우 도메인 이동 상황에서도 성능을 유지하는가?
• RQ4 시험 슬라이드에 추가 암호화가 필요 없이도 이 방법이 임상적으로 신뢰할 수 있는 예측을 생성할 수 있는가?
• RQ5 고신뢰도 예측의 성능은 다양한 기관의 데이터 소스에서 안정적인가?

주요 결과

• UQ 임계값을 활용해 걸러낸 고신뢰도 예측은 교차 검증 및 외부 테스트에서 표준 모델 예측보다 유의미하게 높은 정확도를 달성했다.
• UQ 기반 모델은 두 개의 대규모 다기관 외부 데이터셋에서 뛰어난 일반화 능력을 유지하며 높은 성능을 보였다.
• 비폐암 전체 슬라이드 영상에 대해서도 정확한 고신뢰도 예측을 생성하여 도메인 이동에 대한 견고성을 입증했다.
• 고정된 데이터 기반 임계값의 사용으로 비지도, 비암호화된 슬라이드에 대한 신뢰할 수 있는 배포가 가능했으며, 실제 임상 적용 조건을 밀도 있게 시뮬레이션했다.
• 모델이 불확실성을 표현할 수 있는 능력은 저신뢰도 예측에 대한 의존도를 줄이며 임상적 신뢰도를 향상시켰다.
• 결과적으로, 동일한 테스트 데이터에 적용된 경우에도 불확실성 인식 기반 모델이 표준 모델보다 뛰어난 성능을 보였다.