[논문 리뷰] Swin-Tempo: Temporal-Aware Lung Nodule Detection in CT Scans as Video Sequences Using Swin Transformer-Enhanced UNet

Hossein Jafari, Karim Faez외 1명|arXiv (Cornell University)|2023. 10. 05.

Lung Cancer Diagnosis and TreatmentMedicine인용 수 3

한 줄 요약

Swin-Tempo는 3D 볼륨을 영상 시퀀스로 간주하여, Swin 트랜스포머와 RNN을 통합한 2D UNet 기반 모델을 제안하며, CT 영상에서 폐 결절을 탐지한다. 이 모델은 낮은 파라미터 수로 97.84%의 민감도와 96.0%의 경쟁 성능 지표를 기록하여 최신 기술들보다 정확도와 효율성 면에서 뛰어난 성능을 보였다.

ABSTRACT

Lung cancer is highly lethal, emphasizing the critical need for early detection. However, identifying lung nodules poses significant challenges for radiologists, who rely heavily on their expertise for accurate diagnosis. To address this issue, computer-aided diagnosis (CAD) systems based on machine learning techniques have emerged to assist doctors in identifying lung nodules from computed tomography (CT) scans. Unfortunately, existing networks in this domain often suffer from computational complexity, leading to high rates of false negatives and false positives, limiting their effectiveness. To address these challenges, we present an innovative model that harnesses the strengths of both convolutional neural networks and vision transformers. Inspired by object detection in videos, we treat each 3D CT image as a video, individual slices as frames, and lung nodules as objects, enabling a time-series application. The primary objective of our work is to overcome hardware limitations during model training, allowing for efficient processing of 2D data while utilizing inter-slice information for accurate identification based on 3D image context. We validated the proposed network by applying a 10-fold cross-validation technique to the publicly available Lung Nodule Analysis 2016 dataset. Our proposed architecture achieves an average sensitivity criterion of 97.84% and a competition performance metrics (CPM) of 96.0% with few parameters. Comparative analysis with state-of-the-art advancements in lung nodule identification demonstrates the significant accuracy achieved by our proposed model.

연구 동기 및 목표

• 계산 복잡도와 3D 컨텍스트 인식 한계로 인해 기존 폐 결절 탐지 모델에서 높은 위양성 및 위음성 비율을 초래하는 문제를 해결하기 위해.
• 3D 모델 학습 시 GPU 메모리 제약을 극복하기 위해 2D CT 슬라이스를 영상 시퀀스로 처리하면서도 상하좌우 슬라이스 간 공간적 컨텍스트를 유지하기 위해.
• 다양한 네트워크 깊이에서 CNN과 트랜스포머 특징을 융합하여 소형 결절에 대한 탐지 정확도를 향상시키기 위해.
• 성능을 저하시키지 않은 채 저자원 장치에 배포 가능한 경량이고 효율적인 모델 개발을 위해.
• 슬라이스 간 순차적 정보를 통합하여 림프절의 시간적 모델링을 향상시켜 2D 아키텍처에서 3D 컨텍스트를 모방하기 위해.

제안 방법

• 각 3D CT 스캔을 영상 시퀀스로 간주하고, 개별 2D 슬라이스를 프레임으로 간주하여 슬라이스 간 결절의 외관 변화를 시간적 모델링할 수 있도록 한다.
• 스킵 연결을 통한 다중 척도 공간적 특징을 유지하고 계산 부담을 줄이기 위해 2D UNet 인코더-디코더 아키텍처를 사용한다.
• 이동 창 자기주의 주의를 통해 장거리 상관관계와 글로벌 컨텍스트를 캡처하기 위해 인코더의 여러 단계에 Swin 트랜스포머를 통합한다.
• 슬라이스 시퀀스를 처리하고 인접 슬라이스 간의 특징 표현을 향상시키기 위해 RNN(LSTM)을 사용하여 시간 동적 특징을 모델링한다.
• 이중 단계 특징 융합을 적용한다: 얕은 층에서 CNN과 트랜스포머 특징의 조기 융합, 깊은 층에서의 후기 융합을 통해 세분화를 정밀화한다.
• LIDC-IDRI(Lung Nodule Analysis 2016) 데이터셋을 10겹 교차검증으로 학습하고, 민감도 및 경쟁 성능 지표(CPM)를 포함한 표준 지표를 사용한다.

실험 결과

연구 질문

• RQ1 3D CT 스캔을 영상 시퀀스로 모델링하는 방식이 3D CNN이나 표준 2D 모델 대비 계산 요구량을 줄이며 폐 결절 탐지 정확도를 향상시킬 수 있는가?
• RQ2 Swin 트랜스포머 강화 특징이 2D 슬라이스 기반 세분화에서 민감도 향상과 위양성 감소에 얼마나 기여하는가?
• RQ3 RNN 기반 시간 모델링이 다중 슬라이스를 가로질러 결절을 식별하기 위해 슬라이스 간 컨텍스트를 효과적으로 포착할 수 있는가?
• RQ4 다중 수준 특징 융합을 통한 하이브리드 CNN-Transformer 아키텍처가 LIDC-IDRI 벤치마크에서 기존 최신 기술 모델보다 민감도와 F1 스코어 면에서 뛰어난 성능을 낼 수 있는가?
• RQ5 자르지 않은 전체 2D 슬라이스를 처리하는 방식이 패치 기반 또는 자르기 전략 대비 더 많은 구조적 정보를 유지하고 탐지 성능을 향상시키는가?

주요 결과

• 제안된 Swin-Tempo 모델은 LIDC-IDRI 데이터셋에서 97.84%의 민감도를 기록하여 3D Swin 트랜스포머를 사용한 기존 방법들을 크게 능가했다.
• 모델은 96.0%의 경쟁 성능 지표(CPM)를 확보하여 최신 기술 모델들 대비 뛰어난 종합 진단 정확도를 보였다.
• 자르지 않은 전체 2D 슬라이스를 사용함으로써 더 완전한 해부학적 컨텍스트를 확보하여 소형 및 미세한 결절 탐지에 기여했다.
• RNN 통합으로 슬라이스 간 시간적 의존성 모델링이 효과적으로 이루어져 단일 슬라이스에서 완전히 드러나지 않는 결절 탐지 능력이 향상되었다.
• 낮은 파라미터 수와 계산 부하를 유지하여 3D 트랜스포머 모델보다 메모리 소모가 크지 않은 장치에 배포 가능한 것으로 나타났다.
• 이중 단계 특징 융합 전략(다양한 깊이에서 CNN과 Swin 트랜스포머 특징 융합)이 특징 표현과 세분화 정확도를 크게 향상시켰다.