[논문 리뷰] Learning Tubule-Sensitive CNNs for Pulmonary Airway and Artery-Vein Segmentation in CT

Yulei Qin, Hao Zheng외 7명|arXiv (Cornell University)|2020. 12. 10.

Lung Cancer Diagnosis and Treatment참고 문헌 3인용 수 6

한 줄 요약

이 논문은 비대조 CT 영상에서 폐 기도, 동맥 및 정맥의 정확한 분할을 위한 튜불 감지 CNN 프레임워크를 제안한다. 기능 재보정 모듈, 주의 힘수화, 해부학적 인식 맵을 통합함으로써, 미세한 외측 혈관에 대해 뛰어난 민감도를 확보하면서도 전체 정확도를 유지하여, 소형 기관지와 정맥을 탐지하는 데 있어 기존 최고 수준의 방법들을 크게 능가한다.

ABSTRACT

Training convolutional neural networks (CNNs) for segmentation of pulmonary airway, artery, and vein is challenging due to sparse supervisory signals caused by the severe class imbalance between tubular targets and background. We present a CNNs-based method for accurate airway and artery-vein segmentation in non-contrast computed tomography. It enjoys superior sensitivity to tenuous peripheral bronchioles, arterioles, and venules. The method first uses a feature recalibration module to make the best use of features learned from the neural networks. Spatial information of features is properly integrated to retain relative priority of activated regions, which benefits the subsequent channel-wise recalibration. Then, attention distillation module is introduced to reinforce representation learning of tubular objects. Fine-grained details in high-resolution attention maps are passing down from one layer to its previous layer recursively to enrich context. Anatomy prior of lung context map and distance transform map is designed and incorporated for better artery-vein differentiation capacity. Extensive experiments demonstrated considerable performance gains brought by these components. Compared with state-of-the-art methods, our method extracted much more branches while maintaining competitive overall segmentation performance. Codes and models are available at http://www.pami.sjtu.edu.cn/News/56

연구 동기 및 목표

• CT 영상에서 희소한 감독 신호와 클래스 불균형으로 인해 미세한 튜불 구조인 기관지 및 정맥을 분할하는 데 도전하는 문제를 해결한다.
• 전반적인 분할 성능을 훼손하지 않으면서 외측 기도 및 혈관에 대한 민감도를 향상시킨다.
• 새로운 아키텍처 구성 요소를 통해 표준 CNN이 미세한 튜불 구조와 맥락을 포착하는 데 한계를 극복한다.
• 대조제 의존도를 줄이고 진단 시 거짓 양성 결과를 감소시키기 위해 비대조 CT에서 정확한 동맥-정맥 구분을 가능하게 한다.
• 3D 의료 영상에서 얇고 저대비의 튜불 구조를 위한 표현 학습을 향상시키는 구성 요소를 설계하고 검증한다.

제안 방법

• 공간적 맥락을 먼저 통합한 후 채널별 재보정을 수행하는 기능 재보정 모듈을 도입하여 활성 영역 우선순위를 유지한다.
• 깊은 층에서 얻은 고해상도 주의 맵을 얕은 층으로 반복적으로 전파하는 주의 힘수화 모듈을 활용하여 튜불 구조의 맥락 표현을 풍부하게 한다.
• 비대조 스캔에서 동맥-정맥 구분을 향상시키기 위해 폐 맥락 맵과 거리 변환 맵을 해부학적 사전 지식으로 통합한다.
• 공간적 관계를 유지하기 위해 병렬 좌표 맵을 위치 임bedding으로 사용하여, 특히 맥락이 제한된 동맥-정맥 분할에 유리하다.
• 교차 엔트로피 분할 손실과 주의 힘수화 손실을 조합한 하이브리드 손실 함수를 적용하며, 하이퍼파라미터 α가 작업 간 균형을 조절한다.
• 튜불 대상과 배경 간 대비를 향상시키기 위해 주의 맵에 p=2의 거듭제곱 정규화를 적용하여 두꺼운 구조에 대한 과도한 강조를 방지한다.

Figure 1: Overview of the proposed method for pulmonary airway and artery-vein segmentation. Instance normalization and ReLU activation are performed after each convolution layer except the last one. The number of convolution kernels is denoted above each layer.

실험 결과

연구 질문

• RQ1 주의 힘수화와 기능 재보정은 3D CT 분할에서 얇고 외측 기도 및 혈관에 대한 민감도를 향상시킬 수 있는가?
• RQ2 폐 맥락 및 거리 변환과 같은 해부학적 사전 지식을 통합할 경우 비대조 CT에서 동맥-정맥 분리에 어떤 영향을 미치는가?
• RQ3 병렬 좌표 맵은 맥락이 제한된 환경에서 분할 성능에 어떤 영향을 미치는가?
• RQ4 등각 재샘플링은 모델 성능을 떨어뜨리며, 튜불 감지 분할에 필수적인가?
• RQ5 최적의 하이퍼파라미터 설정(α 및 p)은 주의 힘수화와 분할 손실 간의 균형을 어떻게 조절하여 최고의 성능을 달성하는가?

주요 결과

• 제안된 방법은 미세한 외측 분지의 탐지에서 뚜렷한 성과를 거두었으며, 기존 최고 수준의 방법보다 더 많은 기관지와 정맥을 추출하면서도 경쟁적인 전반적 DSC 및 TPR 성능 유지를 달성했다.
• 주의 힘수화에서 p=2 및 α=0.1 설정이 최적의 균형을 이뤘으며, α 또는 p의 변동이 DSC, TPR, BD 및 TD에서 명백한 성능 저하를 초래했다.
• 병렬 좌표 맵의 통합은 특히 맥락이 제한된 패치에서 동맥-정맥 분할 성능을 향상시켰지만, 기도 분할에는 미미한 영향을 미쳤다.
• 등각 재샘플링은 보조 모델과 제안 모델 모두에서 성능을 떨어뜨렸는데, 이는 보간된 CT와 레이블 간의 정렬 오류 때문이었으며, 이는 이를 피해야 한다는 것을 시사한다.
• 해부학적 사전 지식(거리 변환 및 폐 맥락 맵)은 동맥-정맥 구분을 향상시켜 정맥 영역에서의 거짓 양성 결과를 감소시켰다.
• 제거 실험을 통해 보조 혈관 분할 및 좌표 맵이 복잡한 외측 영역에서 최종 성능에 의미 있는 기여를 했다고 확인되었다.

Figure 2: Illustration of the mapping $\mathcal{Z}(\cdot)$ for feature recalibration. Its input is the activated feature $A_{m}$ of the $m$ -th convolution layer. First, spatial map that highlights important regions is integrated through $\mathcal{Z}_{spatial}(\cdot)$ along three axes of depth, heig