[논문 리뷰] Distanced LSTM: Time-Distanced Gates in Long Short-Term Memory Models for Lung Cancer Detection

Riqiang Gao, Yuankai Huo외 10명|arXiv (Cornell University)|2019. 09. 11.

Lung Cancer Diagnosis and Treatment참고 문헌 15인용 수 7

한 줄 요약

이 논문은 시간 간격에 따라 변동하는 종단적 CT 영상에 대해 폐암 검출을 위해 시간 간격 기반 게이트와 시간 강조 메커니즘을 도입한 새로운 Long Short-Term Memory 아키텍처인 Distanced LSTM(DLSTM)을 제안한다. 이는 정규 및 비정규 시간 데이터 모두에서 성능을 향상시키며, 임상적으로 확보된 비정규 스캔에서 AUC 0.8905를 달성하여 표준 LSTM(0.8380)과 CNN 특징(0.8350)을 크게 능가한다.

ABSTRACT

The field of lung nodule detection and cancer prediction has been rapidly developing with the support of large public data archives. Previous studies have largely focused on cross-sectional (single) CT data. Herein, we consider longitudinal data. The Long Short-Term Memory (LSTM) model addresses learning with regularly spaced time points (i.e., equal temporal intervals). However, clinical imaging follows patient needs with often heterogeneous, irregular acquisitions. To model both regular and irregular longitudinal samples, we generalize the LSTM model with the Distanced LSTM (DLSTM) for temporally varied acquisitions. The DLSTM includes a Temporal Emphasis Model (TEM) that enables learning across regularly and irregularly sampled intervals. Briefly, (1) the time intervals between longitudinal scans are modeled explicitly, (2) temporally adjustable forget and input gates are introduced for irregular temporal sampling; and (3) the latest longitudinal scan has an additional emphasis term. We evaluate the DLSTM framework in three datasets including simulated data, 1794 National Lung Screening Trial (NLST) scans, and 1420 clinically acquired data with heterogeneous and irregular temporal accession. The experiments on the first two datasets demonstrate that our method achieves competitive performance on both simulated and regularly sampled datasets (e.g. improve LSTM from 0.6785 to 0.7085 on F1 score in NLST). In external validation of clinically and irregularly acquired data, the benchmarks achieved 0.8350 (CNN feature) and 0.8380 (LSTM) on the area under the ROC curve (AUC) score, while the proposed DLSTM achieves 0.8905.

연구 동기 및 목표

• 기존 모델이 정규 시간 간격을 전제로 하므로, 폐암 검출에서 비정규 간격으로 촬영된 종단적 CT 영상 모델링의 과제를 해결한다.
• 실제 방사선 영상에서 흔한 이질적인 임상 촬영 일정을 처리하는 데 있어 표준 LSTM의 한계를 극복한다.
• 스캔 간 시간 간격을 명시적으로 모델링하여 시간 표현 학습을 향상시키는 딥 러닝 프레임워크를 개발한다.
• 모의 정규 데이터와 실제 임상에서 확보된 비정규 데이터 양쪽 모두에서 예측 성능을 향상시킨다.
• National Lung Screening Trial(NLST)를 포함한 여러 데이터셋에서 검증하여 강인성과 일반화 능력을 확보한다.

제안 방법

• 스캔 간 시간 간격을 학습 가능한 시간 인식 게이트 메커니즘을 사용해 명시적으로 모델링하는 시간 강조 모델(Temporal Emphasis Model, TEM)을 도입한다.
• 표준 LSTM 셀을 수정하여 고정된 잊기 게이트와 입력 게이트를 스캔 간 시간 간격에 따라 조정 가능한 게이트로 대체한다.
• 이전 스캔 이후 경과한 시간에 따라 세포 상태 업데이트를 조절하는 시간 간격 기반 잊기 게이트를 도입하여 장기 의존성 모델링을 향상시킨다.
• 최근 스캔에 대한 추가 강조 항목을 도입하여 순차적 의사결정에서 최신 정보를 우선시한다.
• 3D CNN 특징에서 유도된 스캔 임베딩 시퀀스를 대상으로 교차 엔트로피 손실을 사용해 DLSTM을 엔드 투 엔드로 훈련한다.
• 3D CNN이 각 CT 스캔에서 공간적 특징을 추출하고, DLSTM이 시간 인식 게이팅을 사용해 유도된 시퀀스를 처리하는 하이브리드 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 수정된 LSTM 아키텍처가 폐암 예측을 위해 비정규 간격으로 촬영된 종단적 CT 영상에 효과적으로 대응할 수 있는가?
• RQ2 시간 간격 기반 게이트의 포함 여부가 정규 및 비정규 시간 데이터 모두에서 표준 LSTM 대비 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 시간 강조 메커니즘이 시퀀스 내 최신 스캔에 대한 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 DLSTM 프레임워크는 시뮬레이션, NLST, 임상적으로 확보된 데이터셋을 포함한 다양한 데이터 분포에 일반화되는가?
• RQ5 실제 비정규 스캔 데이터에서 DLSTM은 표준 LSTM 및 CNN 기반 기준 모델 대비 어느 정도 성능 향상을 보이는가?

주요 결과

• 정규 시간 샘플링을 사용한 National Lung Screening Trial(NLST) 데이터셋에서 DLSTM은 F1 스코어를 표준 LSTM의 0.6785에서 0.7085로 향상시켰다.
• 외부 검증에서 1,420건의 임상적으로 확보된 비정규 간격 스캔에서 DLSTM은 AUC 0.8905를 달성하여 이어지는 최고 성능 모델(LSTM, AUC 0.8380)을 뛰어넘었다.
• 모의 및 정규 데이터에서 DLSTM는 경쟁적인 성능를 유지하여 다양한 데이터 유형에서의 강인성을 입증했다.
• 시간 강조 모델은 특히 동적인 질환 진행 상황에서 최근 스캔에 대한 민감도 향상에 크게 기여했다.
• 시간 간격 기반 게이트 메커니즘은 희소하거나 비균일한 스캔 간격에서도 장거리 시간 의존성을 효과적으로 포착했다.
• 실제 비정규 데이터에서 CNN 기반 특징 추출(AUC 0.8350)과 표준 LSTM(AUC 0.8380)을 모두 능가하는 성능을 보이며, 임상적 관련성을 확인했다.