[논문 리뷰] Confidence Aware Neural Networks for Skin Cancer Detection

Donya Khaledyan, AmirReza Tajally외 5명|ArXiv.org|2021. 07. 19.

Cutaneous Melanoma Detection and Management참고 문헌 25인용 수 8

한 줄 요약

이 논문은 피부암 진단에서 예측 불확실성을 정량화하기 위해 몬테카를로 드롭아웃(Monte Carlo Dropout, MCD), 앙상블 베이지안 네트워크, 그리고 새로운 앙상블 몬테카를로 드롭아웃(Ensemble Monte Carlo Dropout, EMCD) 방법을 사용하는 신뢰도 인식 딥 뉴럴 네트워크를 제안한다. EMCD는 가장 높은 신뢰도 인식 정확도(83%)와 가장 우수한 校정성(ECE = 4.70)를 달성하여, 앙상블 기반의 불확실성 추정이 임상 의사결정 지원의 신뢰성을 향상시킨다는 것을 입증한다.

ABSTRACT

Deep learning (DL) models have received particular attention in medical imaging due to their promising pattern recognition capabilities. However, Deep Neural Networks (DNNs) require a huge amount of data, and because of the lack of sufficient data in this field, transfer learning can be a great solution. DNNs used for disease diagnosis meticulously concentrate on improving the accuracy of predictions without providing a figure about their confidence of predictions. Knowing how much a DNN model is confident in a computer-aided diagnosis model is necessary for gaining clinicians' confidence and trust in DL-based solutions. To address this issue, this work presents three different methods for quantifying uncertainties for skin cancer detection from images. It also comprehensively evaluates and compares performance of these DNNs using novel uncertainty-related metrics. The obtained results reveal that the predictive uncertainty estimation methods are capable of flagging risky and erroneous predictions with a high uncertainty estimate. We also demonstrate that ensemble approaches are more reliable in capturing uncertainties through inference.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN)의 피부암 진단에서 불확실성 추정의 부족이 임상적 신뢰를 약화시킨다는 문제를 해결하기 위해.
• 피부암 영상 분류에 대해 MCD, 앙상블 베이지안, EMCD 세 가지 불확실성 정량화 방법을 평가하고 비교하기 위해.
• 포괄적인 평가를 위해 불확실성 전용 성능 지표(신뢰도 정확도(UAcc), 민감도(USen), 특이도(USpe), 정밀도(UPre))를 제안하고 적용하기 위해.
• 불확실성 추정이 잘못된 예측을 효과적으로 식별할 수 있음을 입증하여, 임상 환경에서 제2의 전문가 검토 워크플로우를 유도할 수 있음을 보여주기 위해.

제안 방법

• 추론 중에도 드롭아웃을 유지함으로써 몬테카를로 드롭아웃(MCD)을 적용하여, 스토케스틱 전방전파를 통해 모델 불확실성(지식 기반 불확실성)을 추정한다.
• 다양한 DNN을 독립적으로 훈련하고 예측을 융합함으로써 앙상블 딥 러닝을 활용하여 불확실성을 추정한다.
• MCD와 앙상블 평균을 융합한 하이브리드 방법인 앙상블 몬테카를로 드롭아웃(EMCD)을 도입하여 불확실성 추정 성능을 향상시킨다.
• 피부 병변 데이터셋에 대해 사전 학습된 모델(예: DenseNet)을 미세조정하여 데이터 의존도를 감소시킨다.
• 새로운 불확실성 평가 지표를 사용한다: 불확실성 정확도(UAcc), 민감도(USen), 특이도(USpe), 정밀도(UPre)를 다양한 임계값에서 계산한다.
• 기대 校정 오차(Expected Calibration Error, ECE)를 사용하여 모델의 校정성(교정성)을 평가한다. ECE는 신뢰도 구간별로 신뢰도와 정확도의 절대 차이를 가중 평균한 것으로 계산된다.

실험 결과

연구 질문

• RQ1 딥 러닝을 사용한 피부암 진단에서 불확실성 정량화 방법이 잘못된 예측을 신뢰성 있게 식별할 수 있는가?
• RQ2 MCD, 앙상블, EMCD 방법은 피부암 분류의 예측 불확실성을 어떻게 비교하여 추정하는가?
• RQ3 불확실성 추정치가 예측 정확성과 어느 정도 상관관계를 가지며, 전문가 검토를 유도하는 데 사용될 수 있는가?
• RQ4 제안된 불확실성 지표(UAcc, USen 등)는 불확실성 예측의 진정된 신뢰성을 얼마나 잘 반영하는가?
• RQ5 어느 불확실성 정량화 방법이 校정성과 불확실성 인식 성능 사이에서 가장 균형 잡힌 성능을 달성하는가?

주요 결과

• EMCD 방법은 가장 낮은 기대 校정 오차(ECE = 4.70)를 기록하여 MCD 및 앙상블 방법보다 우수한 모델 校정성을 보였다.
• 앙상블 방법은 임계값 0.4에서 가장 높은 불확실성 인식 정확도(UAcc = 84.8%)를 기록하여 MCD(76%) 및 EMCD(83%)를 초월했다.
• 세 방법 모두 높은 불확실성 민감도(USen)를 보였으며, 0.5 이상의 값을 기록하여 잘못된 예측를 고도로 식별할 수 있는 능력을 입증했다.
• 높은 정확도 모델에서 흔히 발생하는 고정확도 예측에 대한 높은 불확실성의 긴 尾部로 인해, 모든 방법에서 불확실성 정밀도(UPre)는 약 0.44로 낮게 유지되었다.
• 시각적 분석 결과, 잘못된 예측의 평균 불확실성은 정확한 예측보다 유의미하게 높았으며, 이는 모델이 신뢰할 수 없는 출력를 탐지할 수 있는 능력을 확인했다.
• 정확한 예측과 잘못된 예측의 경계 불확실성 분포가 잘 분리되어 있어, 불확실성 추정치의 강력한 분류 능력을 입증했다.