[논문 리뷰] An Uncertainty-aware Transfer Learning-based Framework for Covid-19 Diagnosis

Afshar Shamsi Jokandan, Hamzeh Asgharnezhad외 6명|arXiv (Cornell University)|2020. 07. 26.

COVID-19 diagnosis using AI참고 문헌 34인용 수 8

한 줄 요약

이 논문은 흉부 X-ray 및 CT 영상에서 전이 학습을 활용한 불확실성 인식 프레임워크를 제안하며, 사전 훈련된 CNN(VGG16, ResNet50, DenseNet121, InceptionResNetV2)를 사용해 특징을 추출하고, 선형 SVM 및 신경망 분류기로 분류를 수행한다. 주요 기여는 지식적 불확실성 정량화를 통합하여 CT 영상 예측에서 X-ray에 비해 훨씬 더 높은 불확실성을 드러내며, 선형 SVM 및 신경망 분류기가 가장 높은 정확도, 민감도, 특이도 및 AUC를 기록한다.

ABSTRACT

The early and reliable detection of COVID-19 infected patients is essential to prevent and limit its outbreak. The PCR tests for COVID-19 detection are not available in many countries and also there are genuine concerns about their reliability and performance. Motivated by these shortcomings, this paper proposes a deep uncertainty-aware transfer learning framework for COVID-19 detection using medical images. Four popular convolutional neural networks (CNNs) including VGG16, ResNet50, DenseNet121, and InceptionResNetV2 are first applied to extract deep features from chest X-ray and computed tomography (CT) images. Extracted features are then processed by different machine learning and statistical modelling techniques to identify COVID-19 cases. We also calculate and report the epistemic uncertainty of classification results to identify regions where the trained models are not confident about their decisions (out of distribution problem). Comprehensive simulation results for X-ray and CT image datasets indicate that linear support vector machine and neural network models achieve the best results as measured by accuracy, sensitivity, specificity, and AUC. Also it is found that predictive uncertainty estimates are much higher for CT images compared to X-ray images.

연구 동기 및 목표

• 자원이 제한된 환경에서 PCR 검사의 한계를 해결하기 위해, 의료 영상 기반의 딥러닝 기반 대체 방법을 개발하여 조기에 신뢰할 수 있는 코로나19 진단을 수행하는 것.
• X-ray 및 CT 영상에서 다양한 사전 훈련된 CNN(VGG16, ResNet50, DenseNet121, InceptionResNetV2)을 사용한 전이 학습의 성능을 조사하는 것.
• 예측의 지식적 불확실성을 정량화하고 보고하여, 특히 분포 외 샘플에서 모델의 자신감이 떨어지는 경우를 식별하는 것.
• X-ray 및 CT 영상 모odalities에 대해 추출된 깊이 특징에 대해 다양한 기계 학습 및 통계 모델의 진단 성능를 비교하는 것.

제안 방법

• 전이 학습을 통해 네 가지 사전 훈련된 CNN(VGG16, ResNet50, DenseNet121, InceptionResNetV2)을 사용하여 흉부 X-ray 및 CT 영상에서 계층적이고 구분력 있는 특징을 추출하며, 훈련 중에 합성곱 층은 동결된다.
• 추출된 특징은 선형 서포트 벡터 머신(SVM), 다층 퍼셉트론(MLP), 기타 기계 학습 모델 등의 다양한 분류 기법을 통해 처리된다.
• 지식적 불확실성은 다양한 은닉층 크기(50–400 뉴런)를 가진 20개의 개별 신경망 앙상블을 통해 정량화되며, 예측 간의 이견이 높은 불확실성을 나타낸다.
• 불확실성 추정치는 PCA로 감소된 특징을 사용한 2차원 공간에서 시각화되며, 어두운 색상은 더 높은 예측 불확실성을 나타낸다.
• 성능 평가에는 표준 지표인 정확도, 민감도, 특이도 및 AUC가 사용되며, 결과는 100회의 반복 평균을 통해 정확도를 확보한다.
• 이 프레임워크는 X-ray 및 CT 영상 데이터셋 모두에서 평가되며, 다양한 모델 간의 불확실성 수준과 분류 성능를 비교 분석한다.

실험 결과

연구 질문

• RQ1 X-ray 및 CT 영상에서 코로나19 진단을 위한 구분력 있는 특징을 추출하는 데 있어, 다양한 사전 훈련된 CNN 아키텍처(VGG16, ResNet50, DenseNet121, InceptionResNetV2)는 어떻게 상호 비교되는가?
• RQ2 전이 학습된 특징에 적용된 다양한 기계 학습 분류기(예: 선형 SVM, 신경망) 중에서 정확도, 민감도, 특이도 및 AUC 측면에서 가장 높은 진단 성능를 달성하는 것은 무엇인가?
• RQ3 X-ray 기반 모델과 CT 기반 모델 간의 예측 지식적 불확실성은 어떻게 달라지며, 이는 임상적 신뢰성에 어떤 의미를 갖는가?
• RQ4 특히 CT 영상과 X-ray에 비해, 신경망 앙상블 내에서 모델 예측의 일관성은 어느 정도로 나타나는가?

주요 결과

• 선형 서포트 벡터 머신 및 다층 퍼셉트론 분류기가 가장 높은 진단 성능를 기록하였으며, X-ray 및 CT 영상 데이터셋 모두에서 정확도, 민감도, 특이도 및 AUC 측면에서 최고의 성능를 보였다.
• CT 영상은 X-ray 영상에 비해 유의미하게 높은 지식적 불확실성 추정치를 보였으며, 이는 CT 기반 사례에서의 모델 간 이견이 크고, 예측에 대한 자신감이 낮음을 나타낸다.
• 20개의 신경망 앙상블은 CT 영상의 예측이 훨씬 일관성이 없음을 드러내었으며, 2차원 불확실성 플롯에서 어두운 영역으로 나타난 고불확실성 영역이 넓게 분포되어 있었다.
• 더 큰 파rameter 수를 가진 더 깊은 네트워크인 ResNet50 및 InceptionResNetV2는 더 작은 모델보다 항상 더 유용한 특징을 추출하지 못했으며, 이는 모델 크기와 진단 성능 사이에 직접적인 상관관계가 없음을 시사한다.
• 사전 훈련된 CNN 아키텍처의 선택은 전체 분류 성능에 심각하고 직접적인 영향을 미쳤으며, VGG16 및 DenseNet121은 다수의 지표에서 뛰어난 성능를 보였다.
• 이 연구는 불확실성 정량화가 임상적 도입에 필수적임을 입증하였으며, CT 예측에서의 높은 불확실성은 분포 외 샘플에서의 실패 가능성을 경고한다.