[논문 리뷰] MESAHA-Net: Multi-Encoders based Self-Adaptive Hard Attention Network with Maximum Intensity Projections for Lung Nodule Segmentation in CT Scan

Muhammad Usman, Azka Rehman외 6명|arXiv (Cornell University)|2023. 04. 04.

Lung Cancer Diagnosis and TreatmentMedicine인용 수 3

한 줄 요약

이 논문은 LIDC-IDRI 데이터셋에서 정확하고 효율적인 CT 스캔 내 3D 폐 종양 세포 분할을 위한 경량이며 엔드 투 엔드 딥 러닝 프레임워크인 MESAHA-Net을 제안한다. 다중 인코더 입력—원본 2D 슬라이스 패치, 양방향 최대 강도 투영(MIP) 이미지, 적응형 ROI 마스크—를 융합하고, 자기 적응형 하드 어텐션 메커니즘을 적용함으로써, 정밀한 슬라이스 단위 2D 분할을 가능하게 하여, 이를 통합해 강력한 3D 볼륨 출력을 생성하며, 분할 정확도와 추론 속도에서 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Accurate lung nodule segmentation is crucial for early-stage lung cancer diagnosis, as it can substantially enhance patient survival rates. Computed tomography (CT) images are widely employed for early diagnosis in lung nodule analysis. However, the heterogeneity of lung nodules, size diversity, and the complexity of the surrounding environment pose challenges for developing robust nodule segmentation methods. In this study, we propose an efficient end-to-end framework, the multi-encoder-based self-adaptive hard attention network (MESAHA-Net), for precise lung nodule segmentation in CT scans. MESAHA-Net comprises three encoding paths, an attention block, and a decoder block, facilitating the integration of three types of inputs: CT slice patches, forward and backward maximum intensity projection (MIP) images, and region of interest (ROI) masks encompassing the nodule. By employing a novel adaptive hard attention mechanism, MESAHA-Net iteratively performs slice-by-slice 2D segmentation of lung nodules, focusing on the nodule region in each slice to generate 3D volumetric segmentation of lung nodules. The proposed framework has been comprehensively evaluated on the LIDC-IDRI dataset, the largest publicly available dataset for lung nodule segmentation. The results demonstrate that our approach is highly robust for various lung nodule types, outperforming previous state-of-the-art techniques in terms of segmentation accuracy and computational complexity, rendering it suitable for real-time clinical implementation.

연구 동기 및 목표

• 종양 이질성, 크기 변동성, 복잡한解부학적 주변 환경으로 인해 CT 스캔 내 폐 종양 세포 분할에 발생하는 과제를 해결하기 위해.
• 3D 및 볼륨 수준의 분할 방법에서 흔히 발생하는 계산 복잡성과 리스케일링 유도 오차를 줄이기 위해.
• 반복적인 2D 슬라이스 단위 처리를 통해 효율적이고 실시간 3D 분할을 가능하게 하는 경량이며 엔드 투 엔드 프레임워크를 개발하기 위해.
• MIP와 적응형 어텐션을 통한 다중 척도 공간 및 맥락 정보 통합을 통해 분할 정확도를 향상시키기 위해.
• LIDC-IDRI 기준 벤치마크 데이터셋에서 기존 최고 수준의 방법들보다 분할 성능과 추론 효율성 측면에서 모두 뛰어난 성능을 달성하기 위해.

제안 방법

• MESAHA-Net은 세 가지 서로 다른 입력 유형을 처리하기 위해 세 개의 병렬 인코딩 경로를 활용한다: 원본 2D CT 슬라이스 패치, 정방향 및 역방향 최대 강도 투영(MIP) 이미지, 하드 어텐션에서 유도된 영역-관심(ROI) 마스크.
• 모델은 각 슬라이스의 종양 영역에 네트워크의 주의를 동적으로 집중시키는 새로운 자기 적응형 하드 어텐션 메커니즘을 사용하여 배경 구조에 대한 주의를 줄이고, 리스케일링 유도 오차를 최소화한다.
• 프레임워크는 반복적인 슬라이스 단위 2D 분할을 수행하며, 주의 유도 특징 학습을 통해 슬라이스 간 종양 경계를 정확하게 추정할 수 있도록 한다.
• 공유 디코더 경로는 세 개의 인코더에서 유도된 특징을 융합하여 국소 텍스처와 전반적 맥락적 단서를 모두 활용하여 분할 예측를 정밀하게 개선한다.
• 아키텍처는 가벼운 구조로 설계되어, 슬라이스당 96×96 패치 입력만을 사용하여 전체 슬라이스 처리를 피하고 계산 부담을 감소시킨다.
• 최종 3D 분할은 슬라이스 단위 예측의 집합을 통해 재구성되며, 이는 이진 교차 엔트로피와 DSC 손실을 사용하여 엔드 투 엔드로 훈련된다.

Figure 1: Multiple visual appearances of the pulmonary nodule are shown. The variations within a nodule can be seen from column (a) to (e), and the inter-nodule difference is presented from rows (i) to (iv).

실험 결과

연구 질문

• RQ1 원본 CT 패치, 이중 MIP, 적응형 ROI 마스크를 융합하는 다중 인코더 아키텍처가 3D 폐 종양 세포 분할 정확도를 향상시킬 수 있는가?
• RQ2 자기 적응형 하드 어텐션 메커니즘이 3D 또는 전체 슬라이스 접근 방식에 비해 2D 패치 단위 분할에서 리스케일링 유도 오차를 얼마나 줄이는가?
• RQ3 제안된 프레임워크는 다양한 종양 유형과 크기에서 성능을 유지하면서도 계산 비용을 최소화하는 데 얼마나 효과적인가?
• RQ4 경량이며 엔드 투 엔드인 2D 패치 단위 네트워크가 기존 3D 및 2D 최고 수준의 모델들보다 정확도와 추론 속도 측면에서 모두 뛰어난 성능을 낼 수 있는가?

주요 결과

• MESAHA-Net은 LIDC-IDRI 데이터셋에서 최고의 DSC(0.867)를 기록하여 이전 최고 수준의 방법들을 능가했다.
• 모델은 12.3ms의 슬라이스당 가장 짧은 추론 시간을 기록하여, Res-UNet과 DEHA-Net에 비해 계산 효율성에서 뚜렷한 우위를 보였다.
• 단지 120만 개의 파라미터를 가진 MESAHA-Net은 비교된 방법들 중 가장 가벼운 모델로, 임상 환경에서 실시간 배포가 가능했다.
• 작은 종양과 가시가 있는 종양을 포함한 모든 종양 유형과 크기에서 일관된 성능을 유지하여 형태학적 다양성에 대한 강건성을 보였다.
• 정성적 결과에서는 MESAHA-Net이 여러 슬라이스에 걸쳐 종양을 정확히 분할하고 정확한 3D 재구성을 생성하여 진짜값에 가까운 결과를 도출했다.
• 제거 실험을 통해 이중 MIP와 적응형 ROI 마스크의 포함이 기준 설정에 비해 분할 성능을 크게 향상시켰다는 것이 확인되었다.

Figure 2: The overall architecture of proposed multi-encoder self-adaptive hard attention network (MESAHA-Net) for Lung Nodule segmentation is demonstrated.