[논문 리뷰] Uncertainty-aware deep learning methods for robust diabetic retinopathy classification

Joel Jaskari, Jaakko Sahlsten외 6명|arXiv (Cornell University)|2022. 01. 22.

Retinal Imaging and Analysis인용 수 5

한 줄 요약

이 논문은 당뇨성 망막병변 분류를 위한 새로운 불확실성 인식 딥러닝 프레임워크를 제안하며, 이중 분류 및 5등급 분류 과제에서 校정을 향상시키기 위해 이차 가중 카파(QWK) 손실에서 유도된 QWK-Risk 불확실성 측정법을 도입한다. 이 방법은 임상 및 벤치마크 데이터셋 전반에서 엔트로피 기반 불확실성보다 더 잘 일반화되며, 특히 5등급 PIRC 체계에서 뛰어난 성능을 보인다.

ABSTRACT

Automatic classification of diabetic retinopathy from retinal images has been widely studied using deep neural networks with impressive results. However, there is a clinical need for estimation of the uncertainty in the classifications, a shortcoming of modern neural networks. Recently, approximate Bayesian deep learning methods have been proposed for the task but the studies have only considered the binary referable/non-referable diabetic retinopathy classification applied to benchmark datasets. We present novel results by systematically investigating a clinical dataset and a clinically relevant 5-class classification scheme, in addition to benchmark datasets and the binary classification scheme. Moreover, we derive a connection between uncertainty measures and classifier risk, from which we develop a new uncertainty measure. We observe that the previously proposed entropy-based uncertainty measure generalizes to the clinical dataset on the binary classification scheme but not on the 5-class scheme, whereas our new uncertainty measure generalizes to the latter case.

연구 동기 및 목표

• 딥러닝 기반 당뇨성 망막병변 스크리닝에서 신뢰할 수 있는 불확실성 추정의 임상적 필요를 해결한다.
• 벤치마크 데이터셋을 초월해 실제 임상 데이터에 대한 불확실성 인식 방법의 일반화 능력을 조사한다.
• 이중 분류(예: 중대한 vs. 중대하지 않은)에서의 강력한 딥러닝을 임상적으로 유의미한 5등급 PIRC 체계로 확장한다.
• QWK 손실 함수에 기반한 새로운 불확실성 측정법을 개발하여 불확실성과 임상 평가 지표 간의 일치도를 높인다.
• 다양한 수준의 모델 불확실성 하에서 여러 데이터셋에 걸쳐 불확실성 기반 전문가 전문의 의뢰 전략의 성능을 평가한다.

제안 방법

• 예상 음수 이차 가중 카파(QWK) 손실에서 유도된 새로운 불확실성 측정법인 QWK-Risk를 제안하며, 이는 직접적으로 임상 평가 지표를 최적화한다.
• 사후 예측 분포의 함수로서 조건부 위험의 기대값을 수식화하여 불확실성 추정과 성능 지표 간의 연결 고리를 형성한다.
• 의료 전문가에게 의뢰되는 가장 불확실한 예측에 QWK-Risk를 불확실성의 대체 지표로 사용한다.
• 다양한 근사 베이지안 딥러닝 방법(MC 드롭아웃, MFVI, Radial BNN, 딥 앙상블)을 구현하고 비교한다.
• 벤치마크 데이터셋(EyePACS, APTOS, Messidor-2)과 임상 데이터셋(KSSHP) 모두에서 모델을 훈련하여 일반화 능력을 평가한다.
• 검증 데이터로부터 혼동 행렬을 구성하고, 각 예측에 대해 QWK-Risk를 계산함으로써 불확실성 인식 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 불확실성 측정법은 임상 데이터셋과 5등급 당뇨성 망막병변 분류에 일반화되는가?
• RQ2 QWK-Risk 기반 불확실성 측정법은 엔트로피보다 임상적 5등급 분류에서 모델의 강건성을 향상시키는가?
• RQ3 다양한 데이터셋에서 불확실성 기반 의뢰 프로토콜 하에서 다양한 근사 베이지안 딥러닝 방법의 성능은 어떠한가?
• RQ4 제안된 QWK-Risk 측정법은 QWK와 같은 임상적으로 의미 있는 성능 지표와 얼마나 잘 일치하는가?
• RQ5 불확실성 추정은 자동화된 당뇨성 망막병변 스크리닝에서 전문가 의뢰를 효과적으로 시뮬레이션하는 데 활용될 수 있는가?

주요 결과

• 엔트로피 기반 불확실성 측정법은 임상 데이터에서 이중 분류(중대한 vs. 중대하지 않은)에 대해 잘 일반화되지만, 5등급 PIRC 체계에는 일반화되지 않는다.
• 제안된 QWK-Risk 불확실성 측정법은 5등급 분류 과제에 대해 효과적으로 일반화되며, 이 설정에서 엔트로피를 능가한다.
• KSSHP 임상 데이터셋에서 QWK-Risk 기반 의뢰 전략은 엔트로피 기반 방법보다 모든 의뢰 수준에서 더 높은 QWK 점수를 기록했다.
• 딥 앙상블과 Radial BNNs는 QWK-Risk를 사용할 경우 고의뢰 비율 조건에서도 높은 QWK 점수를 유지하는 데 뛰어난 성능을 보였다.
• QWK-Risk 측정법은 다중 분류 설정에서 특히 엔트로피보다 임상 평가 지표와 더 잘 일치함을 입증했다.
• 이 연구는 불확실성 추정 방법이 임상 실무에서 사용되는 특정 분류 체계와 평가 지표에 맞게 맞춤형으로 설계되어야 한다는 점을 확인한다.