[논문 리뷰] Classification of COVID-19 in CT Scans using Multi-Source Transfer Learning

Alejandro Martínez|arXiv (Cornell University)|2020. 09. 22.

COVID-19 diagnosis using AI참고 문헌 19인용 수 7

한 줄 요약

이 논문은 초기에 ImageNet으로 사전 훈련된 모델을 중간 단계의 폐 CT 데이터셋으로 미세조정한 후 소규모 코로나19 CT 데이터셋에 적응시켜 코로나19 검출 성능을 향상시키는 다중 소스 전이 학습(MSTL) 프레임워크를 제안한다. 비지도 학습 기반 레이블 생성 방법을 통해 딥 리소지드 네트워크 성능을 향상시켜, 기준 모델 대비 9.3% 높은 0.897의 리콜 스코어를 달성한다.

ABSTRACT

Since December of 2019, novel coronavirus disease COVID-19 has spread around the world infecting millions of people and upending the global economy. One of the driving reasons behind its high rate of infection is due to the unreliability and lack of RT-PCR testing. At times the turnaround results span as long as a couple of days, only to yield a roughly 70% sensitivity rate. As an alternative, recent research has investigated the use of Computer Vision with Convolutional Neural Networks (CNNs) for the classification of COVID-19 from CT scans. Due to an inherent lack of available COVID-19 CT data, these research efforts have been forced to leverage the use of Transfer Learning. This commonly employed Deep Learning technique has shown to improve model performance on tasks with relatively small amounts of data, as long as the Source feature space somewhat resembles the Target feature space. Unfortunately, a lack of similarity is often encountered in the classification of medical images as publicly available Source datasets usually lack the visual features found in medical images. In this study, we propose the use of Multi-Source Transfer Learning (MSTL) to improve upon traditional Transfer Learning for the classification of COVID-19 from CT scans. With our multi-source fine-tuning approach, our models outperformed baseline models fine-tuned with ImageNet. We additionally, propose an unsupervised label creation process, which enhances the performance of our Deep Residual Networks. Our best performing model was able to achieve an accuracy of 0.893 and a Recall score of 0.897, outperforming its baseline Recall score by 9.3%.

연구 동기 및 목표

• 강력한 딥 러닝 모델을 훈련하기 위한 레이블이 제한된 코로나19 CT 영상 데이터 문제를 해결한다.
• ImageNet과 의료 CT 영상 간의 도메인 이동 문제를 해결하기 위해 폐 CT 영상의 중간 전이 데이터셋을 도입한다.
• 감염병 스크리닝에서 매우 치명적인 결과를 초래할 수 있는 가짜 음성(false negative) 수를 줄임으로써 코로나19 검출의 민감도를 향상시킨다.
• 수동 레이블링이 필요 없이 딥 리소지드 네트워크 성능을 향상시키기 위해 비지도 레이블 생성 프로세스를 개발한다.
• 다중 소스 미세조정이 ImageNet 단독 기반 표준 전이 학습보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• ImageNet ILSVRC 데이터셋에서 사전 훈련된 다수의 딥 CNN(예: DenseNet169, ResNet101V2)을 소스 도메인으로 사용한다.
• SPIE-AAPM 폐 CT 챌린지에서 확보한 22,238개의 폐 CT 슬라이스로 구성된 전이 데이터셋에서 사전 훈련된 모델을 미세조정하여 의료 영상 특징에 적응시킨다.
• UCSD에서 확보한 349개의 코로나19 및 397개의 정상 CT 영상으로 구성된 타겟 데이터셋에서 분류를 위해 모델을 추가로 미세조정한다.
• 모델 신뢰도 기반 소프트 레이블을 할당하는 비지도 레이블 생성 프로세스를 구현하여, 데이터가 적은 환경에서의 일반화 성능을 향상시킨다.
• 하드 레이블(이진)과 소프트 레이블(클래스 확률)이라는 두 가지 레이블링 전략을 도입하여 각 전략이 모델 성능에 미치는 영향을 평가한다.
• ImageNet(일반 이미지), 폐 CT(중간 의료 도메인), 최종 타겟(코로나19 대비 정상 CT)이라는 다수의 소스 도메인을 활용한 전이 학습을 적용한다.

실험 결과

연구 질문

• RQ1 표준 ImageNet 기반 전이 학습 대비 다중 소스 전이 학습이 코로나19 CT 영상 분류에 있어 딥 러닝 모델의 성능을 향상시킬 수 있는가?
• RQ2 폐 CT 영상의 중간 전이 데이터셋을 도입할 경우, 모델의 일반화 능력과 코로나19에 대한 민감도에 어떤 영향을 미치는가?
• RQ3 비지도 레이블 생성 방법이 낮은 데이터 의료 영상 환경에서 딥 리소지드 네트워크의 성능을 어느 정도 향상시키는가?
• RQ4 다른 레이블링 전략(하드 대비 소프트)은 모델 성능, 특히 리콜과 가짜 음성 비율 측면에서 어떤 영향을 미치는가?
• RQ5 모델 아키텍처의 복잡도(예: ResNet 대비 DenseNet)는 다양한 레이블링 및 미세조정 전략 하에서 성능에 어떤 영향을 미치는가?

주요 결과

• 최고의 성능을 보인 ResNet101V2 모델(소프트 레이블)은 리콜 스코어 0.897을 기록하여 기준 모델 대비 9.3% 향상되었다.
• ResNet101V2 모델(소프트 레이블)은 하드 레이블을 사용한 DenseNet169 모델보다 3개의 가짜 음성 감소를 기록하여, 가짜 음성이 매우 치명적인 임상 적용에 더 적합하다.
• 하드 레이블링 전략 하에서는 DenseNets가 ResNets를 능가했으나, 소프트 레이블링 전략 하에서는 ResNets가 DenseNets를 능가하여, 아키텍처에 따라 레이블링 방법에 민감한 특성이 드러났다.
• 다중 소스 전이 학습 접근법은 ImageNet과 의료 CT 영상 간의 도메인 갭을 크게 줄여, 향상된 특징 학습과 분류 정확도를 이끌어냈다.
• 비지도 레이블 생성 프로세스는 특히 딥 리소지드 네트워크의 경우, 미세조정 단계에서 더 정교한 감독을 제공함으로써 성능 향상을 이끌었다.
• 타겟 데이터가 부족한 상황에서 도메인 관련 중간 데이터셋을 통합함으로써 전이 학습의 성능을 상당히 향상시킬 수 있음을 입증했다.