[논문 리뷰] COVID-CAPS: A Capsule Network-based Framework for Identification of COVID-19 cases from X-ray Images

Parnian Afshar, Shahin Heidarian외 4명|arXiv (Cornell University)|2020. 04. 06.

COVID-19 diagnosis using AI인용 수 5

한 줄 요약

이 논문은 코로나19를 흉부 X-ray 영상에서 감지하기 위한 캡슐 네트워크 기반 딥러닝 프레임워크인 COVID-CAPS를 제안한다. 주의 메커니즘과 공간 계층성을 활용하여 공간 관계를 유지하고 소규모 데이터셋에서의 성능을 향상시킨다. 사전 훈련 없이도 95.7% 정확도, 90% 민감도, 95.8% 특이도, 0.97 AUC를 달성했으며, 유사한 X-ray 데이터셋에서의 사전 훈련을 통해 정확도 98.3%와 특이도 98.6%로 향상되었다.

ABSTRACT

Novel Coronavirus disease (COVID-19) has abruptly and undoubtedly changed the world as we know it at the end of the 2nd decade of the 21st century. COVID-19 is extremely contagious and quickly spreading globally making its early diagnosis of paramount importance. Early diagnosis of COVID-19 enables health care professionals and government authorities to break the chain of transition and flatten the epidemic curve. The common type of COVID-19 diagnosis test, however, requires specific equipment and has relatively low sensitivity. Computed tomography (CT) scans and X-ray images, on the other hand, reveal specific manifestations associated with this disease. Overlap with other lung infections makes human-centered diagnosis of COVID-19 challenging. Consequently, there has been an urgent surge of interest to develop Deep Neural Network (DNN)-based diagnosis solutions, mainly based on Convolutional Neural Networks (CNNs), to facilitate identification of positive COVID-19 cases. CNNs, however, are prone to lose spatial information between image instances and require large datasets. The paper presents an alternative modeling framework based on Capsule Networks, referred to as the COVID-CAPS, being capable of handling small datasets, which is of significant importance due to sudden and rapid emergence of COVID-19. Our results based on a dataset of X-ray images show that COVID-CAPS has advantage over previous CNN-based models. COVID-CAPS achieved an Accuracy of 95.7%, Sensitivity of 90%, Specificity of 95.8%, and Area Under the Curve (AUC) of 0.97, while having far less number of trainable parameters in comparison to its counterparts. To further improve diagnosis capabilities of the COVID-CAPS, pre-training based on a new dataset constructed from an external dataset of X-ray images. Pre-training with a dataset of similar nature further improved accuracy to 98.3% and specificity to 98.6%.

연구 동기 및 목표

• 코로나19 진단을 위한 의료 영상 데이터셋의 제한성과 불균형 문제를 해결하기 위해.
• 기존의 CNN 모델이 데이터 부족 상황에서 공간 관계를 유지하고 일반화하는 데에 한계가 있음을 극복하기 위해.
• 더 적은 파라미터와 낮은 계산 자원 소모로도 높은 성능을 유지하는 딥러닝 프레임워크를 개발하기 위해.
• 자연 이미지 데이터셋 대신 질병 특이적 X-ray 데이터셋에서의 사전 훈련을 통해 진단 정확도와 견고성을 향상시키기 위해.
• 초기 코로나19 감지를 위해 공개 가능하고 효율적이며 정확한 모델을 제공하기 위해.

제안 방법

• 프레임워크는 동적 라우팅을 활용한 캡슐 네트워크 아키텍처를 사용하여 공간 계층성을 유지하고 이미지 변환에 대한 일반화 능력을 향상시킨다.
• 학습 데이터의 클래스 불균형 문제를 해결하기 위해 수정된 손실 함수를 통합하여 모델의 견고성을 향상시킨다.
• 정규, 세균성, 비코로나19 바이러스성, 코로나19 포함의 네 가지 유형으로 구성된 이진화된 X-ray 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 대규모 외부 X-ray 데이터셋(94,323장)에서 NIH 흉부 X-ray 컬렉션을 기반으로 사전 훈련을 수행하며, 다섯 가지 질병 유형으로 그룹화된다.
• 목표 코로나19 분류 작업에 대해 사전 훈련된 모델을 미세 조정함으로써 전이 학습을 적용한다.
• 최종 모델은 표준 평가 지표인 정확도, 민감도, 특이도, AUC를 사용하여 평가되며, ROC 곡선 분석이 함께 이루어진다.

실험 결과

연구 질문

• RQ1 소규모이고 불균형한 데이터셋에서 훈련된 경우, 캡슐 네트워크 기반 모델이 기존 CNN 모델보다 코로나19를 X-ray 영상에서 분류하는 데서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 자연 이미지 데이터셋 대비 질병 특이적 X-ray 데이터셋에서의 사전 훈련이 의료 영상 진단 성능 향상에 기여하는가?
• RQ3 캡슐 네트워크가 공간 관계를 유지함으로써 의료 영상에서 일반화 능력을 향상시키고 과적합을 줄이는 데 얼마나 기여하는가?
• RQ4 제안된 모델의 학습 가능한 파라미터 수는 기존의 CNN 기반 모델과 비교해 어떻게 다른가? 계산 효율성에 어떤 영향을 미치는가?
• RQ5 거짓 양성 결과의 오류 패턴은 어떠한가? 특히 어떤 비코로나19 유형의 영상이 가장 자주 잘못 분류되는가?

주요 결과

• COVID-CAPS는 사전 훈련 없이도 이진화된 X-ray 데이터셋에서 95.7% 정확도, 90% 민감도, 95.8% 특이도, AUC 0.97를 달성했다.
• 질병 특이적 X-ray 데이터셋에서의 대규모 사전 훈련을 통해 정확도(98.3%)와 특이도(98.6%)가 뚜렷이 향상되었다.
• 사전 훈련 후 AUC는 0.97에서 0.99로 상승하여 더 뛰어난 분류 성능을 보였다.
• 거짓 양성 사례의 대부분은 정상 X-ray(54%)였으며, 이어 세균성(27%)과 비코로나19 바이러스성(19%)이 뒤이었다.
• COVID-CAPS는 단지 295,488개의 학습 가능한 파라미터만을 사용하여 이전 연구에서 제안된 유사한 CNN 모델의 2300만 개 파라미터보다 훨씬 적었다.
• 데이터 부족 상황에서도 모델 성능이 견고했으며, 이는 캡슐 네트워크가 낮은 데이터 환경에서 효과적인 성능을 발휘할 수 있음을 시사한다.