[논문 리뷰] Synergistic Learning of Lung Lobe Segmentation and Hierarchical Multi-Instance Classification for Automated Severity Assessment of COVID-19 in CT Images

Kelei He, Wei Zhao외 9명|arXiv (Cornell University)|2020. 05. 08.

COVID-19 diagnosis using AI참고 문헌 35인용 수 13

한 줄 요약

이 논문은 3D CT 영상에서 COVID-19의 자동 중증도 평가를 위해 폐엽 분할과 계층적 다중인스턴스 분류를 동시에 수행하는 다중작업, 다중인스턴스 학습 프레임워크(M²UNet)를 제안한다. 각 CT 스캔을 2D 패치의 '백'으로 모델링하고, 분할에서 유도된 문맥 정보를 활용하여 분류 성능을 향상시킴으로써, F1 스코어 0.938을 달성하여 약한 감독 하에서의 중증도 평가 분야에서 최신 기술을 능가한다.

ABSTRACT

Understanding chest CT imaging of the coronavirus disease 2019 (COVID-19) will help detect infections early and assess the disease progression. Especially, automated severity assessment of COVID-19 in CT images plays an essential role in identifying cases that are in great need of intensive clinical care. However, it is often challenging to accurately assess the severity of this disease in CT images, due to variable infection regions in the lungs, similar imaging biomarkers, and large inter-case variations. To this end, we propose a synergistic learning framework for automated severity assessment of COVID-19 in 3D CT images, by jointly performing lung lobe segmentation and multi-instance classification. Considering that only a few infection regions in a CT image are related to the severity assessment, we first represent each input image by a bag that contains a set of 2D image patches (with each cropped from a specific slice). A multi-task multi-instance deep network (called M$^2$UNet) is then developed to assess the severity of COVID-19 patients and also segment the lung lobe simultaneously. Our M$^2$UNet consists of a patch-level encoder, a segmentation sub-network for lung lobe segmentation, and a classification sub-network for severity assessment (with a unique hierarchical multi-instance learning strategy). Here, the context information provided by segmentation can be implicitly employed to improve the performance of severity assessment. Extensive experiments were performed on a real COVID-19 CT image dataset consisting of 666 chest CT images, with results suggesting the effectiveness of our proposed method compared to several state-of-the-art methods.

연구 동기 및 목표

• 소규모이고 산만하게 흩어진 감염 부위와 중증도 수준 간 유사한 영상 생물학적 지표로 인해 복잡한 흉부 CT 영상에서 COVID-19의 정확한 자동 중증도 평가를 해결하기 위해.
• 중증도에 대한 전반적인 레이블만을 사용하는 약한 감독 학습을 통해 비용이 많이 드는 세밀한 레이블링에 의존도를 줄이기 위해.
• 보조 작업으로서 폐엽 분할에서 유도된 문맥 정보를 활용하여 분류 성능을 향상시키기 위해.
• 국소적 패치 수준의 특징과 전반적 질병 중증도 사이의 복잡한 관계를 더 잘 포착할 수 있도록 계층적 다중인스턴스 학습 전략을 개발하기 위해.
• 실제 3D CT 데이터를 사용하여 분할과 중증도 분류를 동시에 최적화하는 다중작업 학습의 효과를 입증하기 위해.

제안 방법

• 각 3D CT 영상은 개별 슬라이스에서 잘라낸 2D 패치들의 '백'으로 표현되며, 이는 전반적인 중증도 레이블만으로도 약한 감독 학습이 가능하게 한다.
• 공유된 패치 수준 인코더, 폐엽 분할을 위한 분할 하위망, 중증도 평가를 위한 분류 하위망을 갖춘 다중작업 딥 네트워크인 M²UNet이 설계되었다.
• 분류 하위망은 패치를 단계별로 처리하는 새로운 계층적 다중인스턴스 학습 전략을 적용하여, 기존의 단일단계 MIL 방법에 비해 강건성과 성능을 향상시킨다.
• 다중작업 학습을 통해 분할과 분류 간 특징 공유가 가능해지며, 분할이 제공하는 공간적 문맥 정보가 분류 정확도를 향상시킨다.
• 네트워크는 교차 엔트로피 손실을 분할에, 계층적 MIL 손실을 분류에 사용하여 엔드 투 엔드로 훈련되며, 백 수준의 감독이 적용된다.
• 모델 성능은 666개의 실제 3D 흉부 CT 스캔 데이터셋에서 평가되었으며, 각 구성 요소의 기여도를 검증하기 위해 추론 분석이 실시되었다.

실험 결과

연구 질문

• RQ1 폐엽 분할과 중증도 분류를 동시에 학습하는 것이 CT 영상에서 자동 COVID-19 중증도 평가의 정확도를 향상시키는가?
• RQ2 분할에서 유도된 공간적 문맥 정보를 통합함으로써, 약한 감독 하의 다중인스턴스 분류 성능이 질병 중증도 평가에서 향상되는가?
• RQ3 기존의 단일단계 MIL과 비교할 때, 계층적 다중인스턴스 학습 전략은 패치 수준의 특징에서 COVID-19 중증도를 분류하는 데 어떤가?
• RQ4 안정적이고 높은 성능의 중증도 분류를 달성하기 위해 최적의 백 크기(스캔당 패치 수)는 얼마인가?
• RQ5 단일작업 기반 대비 다중작업 학습이 분할 및 분류 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 M²UNet는 중증도 분류에서 F1 스코어 0.938을 달성하여 단일단계 MIL 기반 베이스라인(F1 = 0.906)과 비밀번호 없는 ResNet50+Max 기반 베이스라인을 뛰어넘었다.
• 계층적 다중인스턴스 학습 전략은 기존의 단일단계 MIL 방법에 비해 F1 스코어를 3.2%p 향상시켰다.
• 다중작업 학습은 단일작업 분류 전용 변형(Cls. Only)에 비해 분류 F1 스코어를 2.5%p 향상시키고, 정밀도를 5%p 이상 향상시켰다.
• M²UNet의 분할 성능(DSC = 0.785)은 단일작업 분할 전용 기반(DSC = 0.759)을 뛰어넘었으며, 공유된 특징 학습의 이점을 입증했다.
• 백 크기가 200패치일 때 모델이 최적의 성능을 달성했으며, 100패치 이상의 백 크기에서는 성능이 안정적이었으며, 패치 샘플링의 중간 수준의 변동성에 대해 강건함을 보였다.
• 추론 분석을 통해 계층적 MIL 전략과 다중작업 학습이 모두 모델의 뛰어난 성능을 위해 필수적임을 확인하였으며, 각 구성 요소가 최종 결과에 크게 기여했다.