[논문 리뷰] Uncertainty Quantification in Computer-Aided Diagnosis: Make Your Model say "I don't know" for Ambiguous Cases

Max-Heinrich Laves, Sontje Ihler외 1명|arXiv (Cornell University)|2019. 08. 02.

Retinal Imaging and Analysis참고 문헌 8인용 수 4

한 줄 요약

이 논문은 몽테카를로 드롭아웃(Bayesian ResNet)과 변분 추론(Variational ResNet)을 사용하여 딥러닝 기반의 컴퓨터 지원 진료에 불확실성 정량화를 통합함으로써 모델이 불확실성을 표현할 수 있도록 제안한다. 두 방법 모두 잘못된 예측에 대해 불확실성을 크게 증가시키며, 잘못 분류된 광학 간섭 단층촬영(OCT) 스캔의 평균 불확실성은 4.6배에서 8.7배 높았다. 이는 불확실성 추정이 진단 신뢰성과 환자 안전성을 향상시킨다는 것을 보여준다.

ABSTRACT

We evaluate two different methods for the integration of prediction uncertainty into diagnostic image classifiers to increase patient safety in deep learning. In the first method, Monte Carlo sampling is applied with dropout at test time to get a posterior distribution of the class labels (Bayesian ResNet). The second method extends ResNet to a probabilistic approach by predicting the parameters of the posterior distribution and sampling the final result from it (Variational ResNet).The variance of the posterior is used as metric for uncertainty.Both methods are trained on a data set of optical coherence tomography scans showing four different retinal conditions. Our results shown that cases in which the classifier predicts incorrectly correlate with a higher uncertainty. Mean uncertainty of incorrectly diagnosed cases was between 4.6 and 8.1 times higher than mean uncertainty of correctly diagnosed cases. Modeling of the prediction uncertainty in computer-aided diagnosis with deep learning yields more reliable results and is anticipated to increase patient safety.

연구 동기 및 목표

• 모델이 불확실성을 표현할 수 있도록 함으로써 딥러닝 기반 의료 진료의 환자 안전성을 향상시키기 위해.
• 표준 딥러닝 모델이 모호한 케이스에서 '모르겠다'고 말할 수 없는 점을 해결하기 위해.
• 임상 진료 환경에서 두 가지 불확실성 추정 방법—몽테카를로 드롭아웃과 변분 추론—을 평가하고 비교하기 위해.
• 광학 간섭 단층촬영을 사용한 망막 질환 분류에서 예측 오류와 불확실성 간의 상관관계를 평가하기 위해.

제안 방법

• 테스트 시점에 몽테카를로 드롭아웃을 적용하며, 드롭아웃 비율 p=0.5를 사용한다. 이는 최종 완전히 연결된 레이어 이전( bayesian1) 또는 ResNet 블록 각각 이전( bayesian2)에 적용된다. 이는 베이지안 추론을 근사하기 위함이다.
• 변분 추론을 사용하여 ResNet-18을 훈련시켜 출력 분포의 평균 μ와 분산 σ²을 예측하며, 미분 가능한 샘플링을 위한 재구성 기법을 사용한다.
• 재구성 기법을 활용: ŷ = μ + σε, 여기서 ε ~ N(0, I)이며, 이는 기울기 기반 최적화를 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 교차 엔트로피와 쿨백-라이블러 발산(KLD)을 조합한 손실 함수를 최소화하여 사후 분포를 표준 정규분포 쪽으로 정규화한다.
• 84,484개의 OCT 스캔(4개의 망막 질환)을 대상으로 표준 ResNet-18 기준 모델과 함께 세 가지 불확실성 인식 모델(bayesian1, bayesian2, variational)을 훈련하고 평가한다.
• 예측 불확실성의 척도로 사후 분포의 분산을 사용하며, 정확하게 분류된 경우와 잘못 분류된 경우의 불확실성 수준을 비교한다.

실험 결과

연구 질문

• RQ1 테스트 시점 드롭아웃을 사용한 몽테카를로 드롭아웃이 OCT 스캔 진료 딥러닝 모델에서 신뢰성 있게 불확실성 추정을 수행할 수 있는가?
• RQ2 학습 가능한 사후 파rameter를 가진 변분 추론은 표준 모델에 비해 불확실성 추정을 향상시키는가?
• RQ3 높은 예측 불확실성과 잘못된 분류 간에 유의미한 상관관계가 있는가?
• RQ4 베이지안 및 변분 접근법에서 유도된 불확실성 추정이 모호하거나 잘못 분류된 케이스를 효과적으로 식별하는가?
• RQ5 불확실성 정량화를 통해 모델이 불확실한 케이스에서 '모르겠다'고 말할 수 있도록 함으로써 임상 안전성을 향상시킬 수 있는가?

주요 결과

• bayesian1 방법을 사용할 경우 잘못 진단된 케이스의 평균 불확실성은 정확히 진단된 케이스보다 8.7배 높았다.
• bayesian2 방법을 사용할 경우 잘못 분류된 케이스의 평균 불확실성은 6.0배 높았고, 변분 접근법을 사용할 경우 4.6배 높았다.
• bayesian1 방법은 가장 높은 테스트 세트 F1 스코어(0.96)를 기록했으며, bayesian2와 변분 방법은 약간 낮은 성능를 보였는데, 이는 다수의 드롭아웃 레이어와 재구성 기법으로 인한 추가 노이즈 때문일 가능성이 있다.
• 모든 불확실성 추정 방법이 잘못된 예측에 대해 더 높은 불확실성을 생성하였으며, 이는 불확실성과 예측 오류 간의 강한 상관관계를 확인한다.
• 불확실성 정량화 통합은 모델 신뢰성 향상에 기여하며, 모호한 케이스를 식별함으로써 임상 의사결정 지원에 기여한다.
• 결과적으로 불확실성 인식 모델이 임상의가 높은 불확실성 케이스를 점검하도록 함으로써 환자 안전성을 향상시킬 수 있음을 보여준다.