[논문 리뷰] Accurate and Robust Pulmonary Nodule Detection by 3D Feature Pyramid Network with Self-supervised Feature Learning

Jingya Liu, Liangliang Cao외 2명|arXiv (Cornell University)|2019. 07. 25.

Lung Cancer Diagnosis and Treatment참고 문헌 28인용 수 15

한 줄 요약

이 논문은 자기지도 학습을 통한 사전 훈련과 고감도·고특이도(HS²) 네트워크를 갖춘 3D 특징 피라미드 네트워크(3DFPN)를 제안하여 CT 영상에서 낭포성 종양을 강력하게 탐지한다. 다양한 CT 스캐너 간 일반화 능력을 향상시키기 위해 자기지도 학습을 활용하고, 슬라이스 간 종양의 외관 변화를 시공간 분석하여 가짜 양성(false positive)을 감소시킨다. 이로 인해 LUNA16에서 스캔당 1/8개의 가짜 양성에서 90.6%의 감도를 달성하였으며, 기존 최고 성능 대비 감도 향상률 15.8%를 기록하였다.

ABSTRACT

Accurate detection of pulmonary nodules with high sensitivity and specificity is essential for automatic lung cancer diagnosis from CT scans. Although many deep learning-based algorithms make great progress for improving the accuracy of nodule detection, the high false positive rate is still a challenging problem which limits the automatic diagnosis in routine clinical practice. Moreover, the CT scans collected from multiple manufacturers may affect the robustness of Computer-aided diagnosis (CAD) due to the differences in intensity scales and machine noises. In this paper, we propose a novel self-supervised learning assisted pulmonary nodule detection framework based on a 3D Feature Pyramid Network (3DFPN) to improve the sensitivity of nodule detection by employing multi-scale features to increase the resolution of nodules, as well as a parallel top-down path to transit the high-level semantic features to complement low-level general features. Furthermore, a High Sensitivity and Specificity (HS2) network is introduced to eliminate the false positive nodule candidates by tracking the appearance changes in continuous CT slices of each nodule candidate on Location History Images (LHI). In addition, in order to improve the performance consistency of the proposed framework across data captured by different CT scanners without using additional annotations, an effective self-supervised learning schema is applied to learn spatiotemporal features of CT scans from large-scale unlabeled data. The performance and robustness of our method are evaluated on several publicly available datasets with significant performance improvements. The proposed framework is able to accurately detect pulmonary nodules with high sensitivity and specificity and achieves 90.6% sensitivity with 1/8 false positive per scan which outperforms the state-of-the-art results 15.8% on LUNA16 dataset.

연구 동기 및 목표

• 딥 러닝 기반 낭포성 종양 탐지에서 높은 가짜 양성 비율이 임상적 도입을 제한하므로 이를 해결한다.
• 강도 스케일, 노이즈, 재구성 프로토콜의 차이로 인해 다양한 제조사의 CT 스캐너 간 성능 저하를 방지하기 위해 모델의 강건성을 향상시킨다.
• 소형 종양(최소 3 mm)에 대해 높은 감도와 특이도를 확보하여 대용량 CT 영상에서의 가짜 양성 수를 최소화한다.
• 고비용 전문가 주석 데이터에 대한 의존도를 줄이기 위해 대규모 비주석 CT 영상에서 자기지도 학습을 통한 사전 훈련을 활용한다.
• 재훈련이나 추가 주석 없이 다양한 임상 데이터셋 간에 효과적으로 일반화되는 프레임워크를 개발한다.

제안 방법

• 다양한 스케일의 특징을 처리하고 상향 경로를 통해 해상도를 향상시키기 위해 3D 특징 피라미드 네트워크(3DFPN)를 사용한다.
• NLST 데이터셋의 비주석 CT 영상에서 3D 볼륨에 대해 0°, 90°, 180°, 270° 회전 예측을 전조업무로 사용하여 ResNet-18 기반을 비주석 데이터로 사전 훈련한다.
• 사전 훈련된 3DFPN 모델을 낭포성 종양 탐지에 대한 미세조정에 백본으로 활용하여 다양한 스캐너 유형 간 특징 일반화 능력을 향상시킨다.
• 종양 후보자의 연속된 CT 슬라이스에서의 위치 역사 이미지(LHIs)를 분석하여 종양(안정적이고 일관된 운동)과 가짜 양성(불안정하고 기우뚱하는 운동)을 구분하는 HS² 네트워크를 설계한다.
• 지속적인 슬라이스 간의 시공간 패턴을 활용하여 외관 변화를 추적하고, 일관되지 않은 운동과 형태 변화에 기반해 가짜 양성을 억제한다.
• 라벨이 부여된 데이터셋(LUNA16 등)에서 3DFPN-HS² 프레임워크를 미세조정하면서도, 자기지도 학습을 통해 사전 훈련된 특징을 유지하여 다양한 데이터셋 간 성능을 유지를 도모한다.

실험 결과

연구 질문

• RQ1 대규모 비주석 CT 영상에서 자기지도 학습을 통한 사전 훈련이 추가 주석 없이 다양한 제조사의 CT 스캐너 간 성능 저하를 방지하는 데 효과적인가?
• RQ2 연속된 CT 슬라이스에서 종양 후보자의 시공간 일관성을 모델링함으로써 HS² 네트워크가 가짜 양성을 얼마나 효과적으로 감소시키는가?
• RQ3 3DFPN과 HS²의 조합이 기준 데이터셋에서 기존 최고 성능 대비 감도와 특이도 향상 정도는 어느 정도인가?
• RQ4 자기지도 학습 사전 훈련 전략이 LUNA16와 훈련 데이터 분포가 다른 외부 데이터셋(SPIE-AAPM, LungTIME, HMS)에서 성능 향상에 기여하는가?
• RQ5 제안된 프레임워크는 대용량 CT 영상에서 가짜 양성을 극도로 줄이면서도 소형 종양(3–10 mm)에 대해 높은 감도를 유지할 수 있는가?

주요 결과

• 3DFPN-HS² 프레임워크는 LUNA16 데이터셋에서 스캔당 1/8개의 가짜 양성에서 90.6%의 감도를 달성하였으며, 이는 이전 최고 성능 대비 15.8% 향상된 결과이다.
• SPIE-AAPM 데이터셋에서 자기지도 학습 사전 훈련된 모델은 사전 훈련 없이 훈련한 경우 대비 스캔당 1/8개의 가짜 양성에서 감도가 7.4% 향상되었다.
• LungTIME 데이터셋에서 사전 훈련된 모델을 사용할 경우 스캔당 1/8개의 가짜 양성에서 감도가 13.5% 향상되어 강력한 외부 데이터셋 일반화 능력을 입증하였다.
• HMS 폐암 데이터셋에서 사전 훈련을 적용한 결과 스캔당 1/8개의 가짜 양성에서 감도가 8.9% 향상되어 다양한 임상 데이터에서의 강건성을 확인하였다.
• HS² 네트워크를 통해 88개의 CT 스캔에서 가짜 양성 수를 629개에서 97개로 감소시켜 84.5% 감소시켰으며, 감도에 영향을 주지 않으면서 특이도를 크게 향상시켰다.
• 3DFPN-HS² 모델의 CPM 점수는 LUNA16에서 0.957을 기록하여 이전 최고 성능 모델을 능가했으며, 스캔당 8개의 가짜 양성에서도 높은 성능 유지를 보였다.