[논문 리뷰] Efficient 3D Fully Convolutional Networks for Pulmonary Lobe Segmentation in CT Images

Hoileong Lee, Tahreema Matin외 2명|arXiv (Cornell University)|2019. 09. 16.

Lung Cancer Diagnosis and Treatment참고 문헌 46인용 수 13

한 줄 요약

이 논문은 CT 영상에서 자동 폐엽 분할을 위한 고도로 효율적인 3D 전결합 신경망인 PLS-Net을 제안한다. 3D 깊이분리형 합성곱, 확장된 잔차 밀도 블록, 입력 강화 기법을 통합함으로써 PLS-Net은 계산 비용과 메모리 사용량을 감소시키면서도 최신 기술 수준의 분할 정확도를 달성하여 표준 GPU에서 고해상도 추론을 가능하게 하며, 스캔당 평균 0.8초의 추론 시간을 기록한다.

ABSTRACT

The human lung is a complex respiratory organ, consisting of five distinct anatomic compartments called lobes. Accurate and automatic segmentation of these pulmonary lobes from computed tomography (CT) images is of clinical importance for lung disease assessment and treatment planning. However, this task is challenging due to ambiguous lobar boundaries, anatomical variations and pathological deformations. In this paper, we propose a high-resolution and efficient 3D fully convolutional network to automatically segment the lobes. We refer to the network as Pulmonary Lobe Segmentation Network (PLS-Net), which is designed to efficiently exploit 3D spatial and contextual information from high-resolution volumetric CT images for effective volume-to-volume learning and inference. The PLS-Net is based on an asymmetric encoder-decoder architecture with three novel components: (i) 3D depthwise separable convolutions to improve the network efficiency by factorising each regular 3D convolution into two simpler operations; (ii) dilated residual dense blocks to efficiently expand the receptive field of the network and aggregate multi-scale contextual information for segmentation; and (iii) input reinforcement at each downsampled resolution to compensate for the loss of spatial information due to convolutional and downsampling operations. We evaluated the proposed PLS-Net on a multi-institutional dataset that consists of 210 CT images acquired from patients with a wide range of lung abnormalities. Experimental results show that our PLS-Net achieves state-of-the-art performance with better computational efficiency. Further experiments confirm the effectiveness of each novel component of the PLS-Net.

연구 동기 및 목표

• CT 영상에서 자동 폐엽 분할을 위한 효율적이고 고해상도의 3D 전결합 신경망을 개발하기 위해.
• 모호한 갈라짐, 병적 변형, 해부학적 변형과 같은 분할 과제에 대응하기 위해.
• 분할 정확도를 훼손하지 않으면서 계산 효율성을 향상시켜 표준 GPU에 배포 가능하게 하기 위해.
• 다중 척도의 문맥적 특징을 통합하고, 다운샘플링 과정에서 발생하는 공간 정보 손실을 보완하기 위해.
• 다양한 병리학적 소견과 영상 촬영 프로토콜을 가진 임상 CT 영상에서의 강건성 검증을 위해.

제안 방법

• 특징 추출과 공간 해상도의 균형을 맞추기 위해 비대칭 인코더-디코더 아키텍처를 사용한다.
• 표준 3D 합성곱을 분해하기 위해 3D 깊이분리형 합성곱을 사용하여 공간적 및 채널별 연산을 분리함으로써 파라미터 수와 FLOPs를 감소시킨다.
• 확장된 잔차 밀도 블록(DRDBs)은 네트워크의 수신장역할을 확장하고 다중 척도의 문맥적 특징을 집계하여 분할 성능을 향상시킨다.
• 풀링 및 합성곱 연산으로 인한 정보 손실를 보완하기 위해 각 다운샘플링 해상도 수준에 입력 강화 기법을 적용한다.
• 메모리 소비를 추가로 줄이고 추론 속도를 향상시키기 위해 혼합 정밀도 추론을 활용한다.
• 다양한 병리학적 소견과 촬영 프로토콜을 가진 210개의 CT 스캔으로 구성된 다기관 데이터셋에서 네트워크를 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 3D 전결합 신경망이 계산 효율성을 유지하면서도 폐엽 분할에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 3D 깊이분리형 합성곱은 정확도 저하 없이 모델 크기와 추론 시간을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 확장된 잔차 밀도 블록은 부피형 폐 CT 데이터에서 특징 표현과 분할 정확도를 얼마나 향상시키는가?
• RQ4 다중 척도에서의 입력 강화는 공간 정보 손실를 보완함으로써 분할 성능을 얼마나 향상시키는가?
• RQ5 제안된 네트워크는 심각한 병적 소견과 불완전한 갈라짐을 가진 다양한 임상 CT 영상에서 강건하게 일반화될 수 있는가?

주요 결과

• PLS-Net는 210개의 CT 스캔으로 구성된 다기관 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법들을 능가하는 분할 정확도를 확보하였다.
• 3D 깊이분리형 합성곱의 사용은 정확도 저하 없이 모델 파라미터 수와 FLOPs를 감소시켜 효율적인 추론을 가능하게 하였다.
• 확장된 잔차 밀도 블록은 3D 볼륨 전역에서 다중 척도의 문맥적 정보를 포착함으로써 특징 학습을 크게 향상시켰다.
• 각 해상도 수준에서의 입력 강화는 공간 정보 손실를 효과적으로 완화하여 경계 검출 성능 향상에 기여하였다.
• GTX 1080 Ti GPU에서 3D CT 볼륨당 평균 0.8초의 추론 시간을 기록하여 실시간 적용 가능성을 입증하였다.
• 특징 맵의 시각화 결과는 PLS-Net이 갈라짐, 기도, 혈관, 갈비뼈 등 핵심 해부학적 구조를 식별하는 능력을 갖추고 있음을 확인하였으며, 이는 해부학적 추론 능력을 뒷받침한다.