[논문 리뷰] Improving Automated COVID-19 Grading with Convolutional Neural Networks in Computed Tomography Scans: An Ablation Study

Coen de Vente, Luuk Boulogne외 6명|arXiv (Cornell University)|2020. 09. 21.

COVID-19 diagnosis using AI참고 문헌 31인용 수 7

한 줄 요약

이 연구는 3차원 합성곱 신경망(CNN)의 핵심 구성 요소인 3D 아키텍처, 전이 학습, 병변 지ap 입력 및 연속 출력 예측을 평가하여 CT 영상에서 자동 COVID-19 등급 매기기의 성능을 향상시켰다. 전이 학습을 적용한 3D CNN은 내부 테스트 세트에서 AUC 0.934, 공개 데이터셋에서 AUC 0.923를 기록하여 이전의 2D CNN보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

Amidst the ongoing pandemic, several studies have shown that COVID-19 classification and grading using computed tomography (CT) images can be automated with convolutional neural networks (CNNs). Many of these studies focused on reporting initial results of algorithms that were assembled from commonly used components. The choice of these components was often pragmatic rather than systematic. For instance, several studies used 2D CNNs even though these might not be optimal for handling 3D CT volumes. This paper identifies a variety of components that increase the performance of CNN-based algorithms for COVID-19 grading from CT images. We investigated the effectiveness of using a 3D CNN instead of a 2D CNN, of using transfer learning to initialize the network, of providing automatically computed lesion maps as additional network input, and of predicting a continuous instead of a categorical output. A 3D CNN with these components achieved an area under the ROC curve (AUC) of 0.934 on our test set of 105 CT scans and an AUC of 0.923 on a publicly available set of 742 CT scans, a substantial improvement in comparison with a previously published 2D CNN. An ablation study demonstrated that in addition to using a 3D CNN instead of a 2D CNN transfer learning contributed the most and continuous output contributed the least to improving the model performance.

연구 동기 및 목표

• 딥 러닝을 활용하여 CT 영상에서 자동 COVID-19 등급 매기기 성능을 향상시키는 데 기여하는 구성 요소를 체계적으로 평가하기 위해.
• 흉부 CT 볼륨에서 COVID-19를 분류하는 데 있어 3D CNN 아키텍처와 2D CNN 아키텍처의 성능을 비교하기 위해.
• 전이 학습, 병변 지도 입력 및 연속 출력 예측이 모델 성능에 미치는 영향을 평가하기 위해.
• 공개 데이터셋(iCTCF)을 활용한 모델 검증과 함께 오픈형 대회 플랫폼을 공개하여 공정한 벤치마킹을 가능하게 하기 위해.

제안 방법

• 공정한 비교를 위해 동일한 내부 데이터셋과 공개된 iCTCF 데이터셋을 사용하여 2D 및 3D CNN 아키텍처를 훈련하고 비교하였다.
• 이미지넷 및 키네틱스에서 사전 훈련된 가중치를 사용하여 모델를 초기화함으로써 전이 학습을 적용하여 특징 학습을 향상시켰다.
• 자동으로 생성된 병변 세그멘테이션 지도를 분류 네트워크의 추가 입력 채널로 통합하였다.
• 예측 성능 평가를 위해 분류(코-라즈 스코어) 및 연속 예측(회귀 헤드) 두 가지 방식을 평가하였다.
• 각 구성 요소가 전체 성능에 기여하는 정도를 분리하여 평가하기 위해 아블레이션 스터디를 수행하였다.
• 일반화 능력을 평가하기 위해 내부 테스트 세트(105건의 스캔)와 공개 외부 테스트 세트(742건의 스캔)에서 모델을 검증하였다.

실험 결과

연구 질문

• RQ1 CT 영상에서 자동 COVID-19 등급 매기기 성능을 향상시키기 위해 2D CNN 대신 3D CNN을 사용할 경우 성능 향상이 이루어지는가?
• RQ2 자연 이미지 및 영상 데이터에서의 전이 학습이 모델 성능 향상에 어느 정도 기여하는가?
• RQ3 입력으로 병변 세그멘테이션 지도를 추가할 경우 모델의 분류 정확도에 어떤 영향을 미치는가?
• RQ4 분류된 CO-RADS 등급 대신 연속적인 출력 점수를 예측할 경우 성능에 어떤 영향을 미치는가?
• RQ5 이러한 구성 요소들이 스캔의 해상도 및 양성 사례 정의가 상이한 다양한 데이터셋 간의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 전이 학습을 적용한 3D CNN은 내부 테스트 세트에서 AUC 0.934, 공개 iCTCF 데이터셋에서 AUC 0.923를 기록하여 이전의 2D CNN보다 유의미하게 뛰어난 성능을 보였다.
• 전이 학습이 성능 향상에 가장 큰 기여를 하였으며, 평가된 모든 구성 요소 중에서 가장 큰 상대적 향상률을 기록하였다.
• 병변 지도를 입력으로 사용하는 것은 어느 테스트 세트에서도 통계적으로 유의미한 성능 향상이 없었으며, 이 방법에 한계가 있음을 시사하였다.
• 분류 출력을 연속 예측으로 대체하는 것은 성능 향상에 가장 작은 기여를 하였지만, 이는 이산적인 CO-RADS 임계값을 정의할 필요가 없어졌다는 점에서 장점가지였다.
• 스ライ스 두께가 1.5mm를 초과하는 스캔에서 성능 저하가 관찰되었으며, 특히 3D 모델에서 두드러져 이미지 해상도 및 재구성 파rameter에 민감함을 보였다.
• 아블레이션 스터디를 통해 전이 학습과 3D 아키텍처가 일관되게 유익한 것으로 확인되었고, 병변 지도 및 연속 출력 예측은 최소 또는 유의미한 성능 향상이 없었다.