[논문 리뷰] Contextual Two-Stage U-Nets for Robust Pulmonary Lobe Segmentation in CT Scans of COVID-19 and COPD Patients

Weiyi Xie, Colin Jacobs외 2명|arXiv (Cornell University)|2020. 04. 16.

COVID-19 diagnosis using AI참고 문헌 47인용 수 2

한 줄 요약

이 논문은 코로나19 및 만성 폐쇄성 폐질환(COPD) 환자의 CT 영상에서 폐엽 분할을 향상시키기 위해 시각적 및 기하학적 관계를 특징 간에 포착하는 새로운 비국소 모듈을 갖춘 문맥적 두 단계 U-Net인 RTSU-Net을 제안한다. COPDGene 데이터로 사전 훈련하고 470건의 코로나19 사례로 미세조정한 결과, 심한 병변이 있는 폐에서도 뛰어난 성능을 보이며 세 가지 기준 모델을 능가한다.

ABSTRACT

Pulmonary lobe segmentation in computed tomography scans is essential for regional assessment of pulmonary diseases. Recent works based on convolution neural networks have achieved good performance for this task. However, they are still limited in capturing structured relationships due to the nature of convolution. The shape of the pulmonary lobes affect each other and their borders relate to the appearance of other structures, such as vessels, airways, and the pleural wall. We argue that such structural relationships play a critical role in the accurate delineation of pulmonary lobes when the lungs are affected by diseases such as COVID-19 or COPD. In this paper, we propose a relational approach (RTSU-Net) that leverages structured relationships by introducing a novel non-local neural network module. The proposed module learns both visual and geometric relationships among all convolution features to produce self-attention weights. With a limited amount of training data available from COVID-19 subjects, we initially train and validate RTSU-Net on a cohort of 5000 subjects from the COPDGene study (4000 for training and 1000 for evaluation). Using models pre-trained on COPDGene, we apply transfer learning to retrain and evaluate RTSU-Net on 470 COVID-19 suspects (370 for retraining and 100 for evaluation). Experimental results show that RTSU-Net outperforms three baselines and performs robustly on cases with severe lung infection due to COVID-19.

연구 동기 및 목표

• 코로나19 및 COPD와 같은 심한 폐질환 환자의 CT 영상에서 정확한 폐엽 분할 문제를 해결하기 위해.
• 표준 컨볼루션 네트워크가 폐엽과 주변 해부학적 구조 간의 구조적 관계를 모델링하는 데 한계를 보이는 것을 극복하기 위해.
• 특징 간의 시각적 및 기하학적 관계를 활용하여 병변이 있는 경우의 분할 정확도를 향상시키기 위해.
• 대규모 COPDGene 코hort 데이터로 사전 훈련하고 제한된 코로나19 데이터로 미세조정하여 일반화 능력을 유지하는 전이 학습을 활용하기 위해.
• 폐 구조가 질병으로 인해 왜곡되어도 높은 성능을 유지할 수 있는 방법을 개발하기 위해.

제안 방법

• 두 단계 U-Net 아키텍처를 사용하며, 첫 번째 단계는 초기 분할을 생성하고 두 번째 단계는 문맥적 특징을 사용해 이를 개선한다.
• 모든 특징 맵 간의 시각적 유사성과 기하학적 관계를 기반으로 자기주의 가중치를 계산하는 새로운 비국소 신경망 모듈을 도입한다.
• 비국소 모듈은 공간적 위치 간 특징을 집계하여 림프 간 상호의존성을 포착하는 데 핵심적인 장거리 의존성을 모델링한다.
• 모델은 일반 폐 해부학을 학습하기 위해 4,000명의 COPDGene 참가자 데이터로 사전 훈련된 후, 질병 특화 적응을 위해 370건의 코로나19 사례로 미세조정된다.
• 데이터 부족 문제를 완화하면서 일반화 능력을 유지하기 위해 전이 학습이 적용된다.
• 최종 모델은 심한 질환 상태에서의 견고성을 평가하기 위해 100건의 독립적인 코로나19 사례로 평가된다.

실험 결과

연구 질문

• RQ1 폐엽과 주변 해부학적 구조 간의 구조적 관계를 모델링하면 병변이 있는 폐에서 분할 정확도가 향상되는가?
• RQ2 비국소 주의 메커니즘이 특징 간의 시각적 및 기하학적 관계를 포착하는 데 얼마나 효과적인가?
• RQ3 대규모 COPDGene 코hort 데이터로 사전 훈련하면 제한된 병변이 있는 코로나19 데이터셋에서 성능 향상에 어느 정도 기여하는가?
• RQ4 기본 U-Net 기준 모델 대비 제안된 방법은 코로나19로 인해 심하게 영향을 받은 폐에서 견고성을 유지하는가?
• RQ5 건강한 폐 데이터에서 병변이 있는 폐 데이터로의 전이 학습이 제한된 레이블이 있는 데이터로도 더 나은 분할 성능을 낼 수 있는가?

주요 결과

• RTSU-Net은 COPDGene 및 코로나19 데이터셋 양쪽에서 세 가지 기준 모델보다 폐엽 분할 성능이 뛰어나다.
• 감염으로 인해 심하게 손상된 폐에서, 특히 병변이 있는 경우 표준 분할 접근 방식이 어려운 상황에서도 뛰어난 견고성을 보인다.
• 비국소 모듈을 통한 시각적 및 기하학적 관계 통합은 경계 명확화와 폐엽 일관성 향상에 크게 기여한다.
• COPDGene 데이터에서의 사전 훈련은 제한된 코로나19 코hort에 대한 효과적인 적응을 가능하게 하여 데이터 부족 상황에서도 높은 성능을 달성한다.
• 문맥적 개선을 포함한 두 단계 설계는 특히 조직 대비가 모호한 영역에서 분할 정확도를 향상시킨다.
• 100건의 독립적인 코로나19 테스트 케이스에서 모델은 높은 성능을 유지하여 임상적으로 관련성이 있는 상황에서의 신뢰성을 확인한다.