[논문 리뷰] Does Non-COVID19 Lung Lesion Help? Investigating Transferability in COVID-19 CT Image Segmentation

Yixin Wang, Yao Zhang외 6명|arXiv (Cornell University)|2020. 06. 23.

COVID-19 diagnosis using AI참고 문헌 38인용 수 8

한 줄 요약

이 논문은 전이 학습을 통해 비코로나19 폐 병변 데이터셋을 활용하여 코로나19 CT 영상 분할 성능을 향상시키는 하이브리드 인코더 학습 전략을 제안한다. 여러 종류의 폐 병변에서 사전 훈련하고 전담 및 적응형 인코더의 주의 기반 선택적 융합을 사용함으로써, 제한된 레이블이 부여된 코로나19 데이터에서 과적합을 크게 줄이고 평균 DSC 0.704를 달성한다.

ABSTRACT

Coronavirus disease 2019 (COVID-19) is a highly contagious virus spreading all around the world. Deep learning has been adopted as an effective technique to aid COVID-19 detection and segmentation from computed tomography (CT) images. The major challenge lies in the inadequate public COVID-19 datasets. Recently, transfer learning has become a widely used technique that leverages the knowledge gained while solving one problem and applying it to a different but related problem. However, it remains unclear whether various non-COVID19 lung lesions could contribute to segmenting COVID-19 infection areas and how to better conduct this transfer procedure. This paper provides a way to understand the transferability of non-COVID19 lung lesions. Based on a publicly available COVID-19 CT dataset and three public non-COVID19 datasets, we evaluate four transfer learning methods using 3D U-Net as a standard encoder-decoder method. The results reveal the benefits of transferring knowledge from non-COVID19 lung lesions, and learning from multiple lung lesion datasets can extract more general features, leading to accurate and robust pre-trained models. We further show the capability of the encoder to learn feature representations of lung lesions, which improves segmentation accuracy and facilitates training convergence. In addition, our proposed Hybrid-encoder learning method incorporates transferred lung lesion features from non-COVID19 datasets effectively and achieves significant improvement. These findings promote new insights into transfer learning for COVID-19 CT image segmentation, which can also be further generalized to other medical tasks.

연구 동기 및 목표

• 비코로나19 폐 병변이 코로나19 CT 영상 분할을 위한 딥 러닝 모델의 일반화 능력과 강건성을 향상시킬 수 있는지 조사한다.
• 다양한 폐 병변 유형에서 학습된 특징들이 코로나19 감염 분할 작업으로의 전이 가능성은 어떻게 되는지 평가한다.
• 비코로나19 병변과 코로나19 감염 데이터의 특징을 효과적으로 융합하는 새로운 전이 학습 전략을 개발하고 검증한다.
• 제한된 데이터 환경에서 코로나19 분할 작업의 과적합을 줄이고 훈련 수렴을 향상시킨다.

제안 방법

• 공개된 비코로나19 폐 CT 스캔을 조합한 다수 병변 데이터셋에서 3D U-Net 인코더를 사전 훈련하여 일반 폐 병변 표현을 학습한다.
• 두 개의 병렬 인코더를 갖는 하이브리드 인코더 학습 전략을 제안한다: 코로나19 특화 특징을 위한 전담 인코더와 일반 폐 병변 특징을 위한 적응형 인코더.
• 입력 맥락에 따라 두 인코더의 특징을 동적으로 가중하고 융합하는 주의 기반 선택적 융합 유닛을 도입한다.
• 네 가지 전이 학습 전략을 평가한다: 연속 학습, 본문 미세조정, 사전 훈련된 병변 표현, 그리고 제안된 하이브리드 인코더 학습 전략.
• 2020년 코로나19 CT 분할 데이터셋과 세 개의 공개 비코로나19 데이터셋을 사용하여 오차 없는 성능 평가를 확보하기 위해 오차 없는 교차 검증을 수행한다.
• 모델 비교를 위해 표준 지표인 DSC, 표준화된 표면 DSC(NSD), 민감도, F1 점수, 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 비코로나19 폐 병변 데이터셋에서 사전 훈련하면 코로나19 감염을 CT 영상에서 분할하는 데 있어 딥 러닝 모델의 성능 향상이 이루어지는가?
• RQ2 제한된 레이블이 부여된 코로나19 데이터에서 다양한 전이 학습 전략에 비해 비코로나19 폐 병변에서 유도된 특징의 전이 가능성은 어떻게 비교되는가?
• RQ3 다중 병변 사전 훈련 모델은 단일 질환 사전 훈련보다 더 나은 일반화 능력과 과적합 감소 효과를 보이는가?
• RQ4 코로나19 특화 및 일반 폐 병변 특징 학습을 분리하는 하이브리드 인코더 아키텍처는 분할 정확도와 수렴 성능 향상에 기여하는가?

주요 결과

• 제안된 하이브리드 인코더 학습 전략은 테스트 세트에서 평균 DSC 0.704, NSD 0.735, 민감도 0.682, F1 점수 0.707, 정확도 0.994를 달성했다.
• 다양한 비코로나19 폐 병변 데이터셋에서의 사전 훈련은 사전 훈련 없이 훈련하거나 단일 질환 사전 훈련을 사용하는 것보다 모델의 일반화 능력을 크게 향상시키고 과적합 위험을 감소시켰다.
• 주의 기반 선택적 융합 유닛은 특징 동적 선택을 가능하게 하여 모델이 다양한 병변 외형에 적응하고 분할 일관성을 향상시키는 데 기여했다.
• 사전 훈련된 병변 표현을 포함한 동결 인코더 전략은 뚜렷한 성능 향상을 보였으며, 미세조정 없이도 강력한 전이 가능성의 존재를 시사했다.
• 다중 병변 사전 훈련 모델은 모든 다른 전이 학습 전략을 능가했으며, 사전 훈련 데이터의 다양성이 특징의 풍부함과 후행 작업 성능 향상에 기여함을 입증했다.
• 하이브리드 인코더 방법는 성능과 훈련 효율성 사이의 최적 균형을 달성했으며, 폴드 간 평균 213초의 추론 시간을 기록했다.