[논문 리뷰] Estimating Uncertainty and Interpretability in Deep Learning for Coronavirus (COVID-19) Detection

Biraja Ghoshal, Allan Tucker|Brunel University Research Archive (BURA) (Brunel University London)|2020. 03. 22.

COVID-19 diagnosis using AI참고 문헌 14인용 수 348

한 줄 요약

본 논문은 MC Dropweights 기반의 베이지안 CNN을 사용하여 COVID-19 흉부 X-레이 분류에서 예측 불확실성을 추정하고, 불확실성이 정확도와 상관관계가 있음을 보이며, 방사선 전문의에게의 불확실성 기반 의뢰를 가능하게 한다.

ABSTRACT

Deep Learning has achieved state of the art performance in medical imaging. However, these methods for disease detection focus exclusively on improving the accuracy of classification or predictions without quantifying uncertainty in a decision. Knowing how much confidence there is in a computer-based medical diagnosis is essential for gaining clinicians trust in the technology and therefore improve treatment. Today, the 2019 Coronavirus (SARS-CoV-2) infections are a major healthcare challenge around the world. Detecting COVID-19 in X-ray images is crucial for diagnosis, assessment and treatment. However, diagnostic uncertainty in the report is a challenging and yet inevitable task for radiologist. In this paper, we investigate how drop-weights based Bayesian Convolutional Neural Networks (BCNN) can estimate uncertainty in Deep Learning solution to improve the diagnostic performance of the human-machine team using publicly available COVID-19 chest X-ray dataset and show that the uncertainty in prediction is highly correlates with accuracy of prediction. We believe that the availability of uncertainty-aware deep learning solution will enable a wider adoption of Artificial Intelligence (AI) in a clinical setting.

연구 동기 및 목표

• 의료 영상 COVID-19 탐지에서 딥러닝의 불확실성 추정 필요성에 대한 동기를 제시한다.
• 예측 불확실성을 정량화하기 위해 MC Dropweights 기반의 베이지안 CNN을 평가한다.
• 예측 불확실성과 분류 정확도 사이의 관계를 조사한다.
• 진단에서 인간-기계 협업을 개선하기 위한 불확실성 인식 의사결정 의뢰를 평가한다.

제안 방법

• COVID-19 X-레이 분류를 위한 사전 학습된 ResNet50V2 백본을 이용한 전이 학습을 적용한다.
• Bayesian 추론 근사와 테스트 중 MC 샘플링을 가능하게 하기 위해 완전 연결 계층에 Dropweights를 도입한다.
• 여러 확률적 순전파( MC 샘플)에 걸친 예측 평균과 예측 불확실성을 계산하여 PH(예측 엔트로피)와 BALD 지표를 얻는다.
• 구성 간의 비교를 용이하게 하기 위해 불확실성을 표준화한다.
• 손실에서 클래스 가중치를 통해 위양성 감소를 강조하는 비대칭 비용(유틸리티) 함수를 사용한다.
• 불확실성 지표(PH 대 BALD)를 비교하고 불확실성이 예측 오차와 어떻게 연관되는지 분석한다.

실험 결과

연구 질문

• RQ1 MC Dropweights 기반의 베이지안 CNN이 COVID-19 X-레이 분류에 유의미한 불확실성 추정치를 제공할 수 있는가?
• RQ2 예측 불확실성이 분류 정확도와 상관관계가 있으며 이를 통해 의뢰를 통한 의사결정 개선에 이용할 수 있는가?
• RQ3 이 맥락에서 어떤 불확실성 지표(예측 엔트로피 대 BALD)가 모델 불확실성을 더 잘 반영하는가?
• RQ4 불확실성 인식 의뢰를 도입하면 인간 방사선 의사와의 협업에서 전반적 진단 신뢰성이 향상되는가?

주요 결과

• 베이지안 ResNet50V2가 주어진 데이터셋에서 표준 ResNet50V2보다 COVID-19 X-레이 탐지 정확도를 향상시킨다.
• 예측 불확실성은 잘못된 예측에서 더 높아지는 경향이 있어 애매한 케이스를 표시하는 데 유용하다.
• 예측 엔트로피는 예측 오류와 매우 강한 상관관계를 보이며(상관계수 rho 약 0.99, 다양한 드롭웨이트에서),
• BALD 역시 오류와 상관관계를 보이지만 예측 엔트로피보다 구성이 덜 강하다.
• 불확실성 인식 의뢰(불확실한 케이스Rejecting)를 통해 남은 예측의 정확도가 증가하며, 특정 조건에서 전체 시스템이 방사선 의사와 유사한 성능에 근접한다.