[논문 리뷰] Spatio-Temporal Convolutional LSTMs for Tumor Growth Prediction by Learning 4D Longitudinal Patient Data

Ling Zhang, Le Lü외 5명|arXiv (Cornell University)|2019. 02. 23.

Radiomics and Machine Learning in Medical Imaging참고 문헌 41인용 수 8

한 줄 요약

이 논문은 4D 종양 영상 데이터(3D + 시간)에서 3차원 공간적 맥락과 종단적 시간적 동역학을 동시에 학습할 수 있는 공간-시간 컨볼루션 리커런트 신경망(ST-ConvLSTM) 모델을 제안한다. 이 모델은 향후 종양 부피, 세포 밀도, CT 강도를 예측한다. 33명의 췌장 내분비성 종양 환자 데이터셋에서 모델은 상대적 부피 차이(RVD) 11.2%와 83.2%의 Dice 스코어를 기록했으며, 기존의 전통적 모델 및 2D 기반 딥러닝 접근 방식보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

Prognostic tumor growth modeling via volumetric medical imaging observations can potentially lead to better outcomes of tumor treatment and surgical planning. Recent advances of convolutional networks have demonstrated higher accuracy than traditional mathematical models in predicting future tumor volumes. This indicates that deep learning-based techniques may have great potentials on addressing such problem. However, current 2D patch-based modeling approaches cannot make full use of the spatio-temporal imaging context of the tumor's longitudinal 4D (3D + time) data. Moreover, they are incapable to predict clinically-relevant tumor properties, other than volumes. In this paper, we exploit to formulate the tumor growth process through convolutional Long Short-Term Memory (ConvLSTM) that extract tumor's static imaging appearances and capture its temporal dynamic changes within a single network. We extend ConvLSTM into the spatio-temporal domain (ST-ConvLSTM) by jointly learning the inter-slice 3D contexts and the longitudinal or temporal dynamics from multiple patient studies. Our approach can incorporate other non-imaging patient information in an end-to-end trainable manner. Experiments are conducted on the largest 4D longitudinal tumor dataset of 33 patients to date. Results validate that the ST-ConvLSTM produces a Dice score of 83.2%+-5.1% and a RVD of 11.2%+-10.8%, both significantly outperforming (p<0.05) other compared methods of linear model, ConvLSTM, and generative adversarial network (GAN) under the metric of predicting future tumor volumes. Additionally, our new method enables the prediction of both cell density and CT intensity numbers. Last, we demonstrate the generalizability of ST-ConvLSTM by employing it in 4D medical image segmentation task, which achieves an averaged Dice score of 86.3+-1.2% for left-ventricle segmentation in 4D ultrasound with 3 seconds per patient.

연구 동기 및 목표

• 현재 2D 패치 기반 방법이 효과적으로 활용하지 못하는 전체 4D(3D + 시간) 종단적 의료 영상 데이터를 활용하여 종양 성장 예측 정확도를 향상시키는 것.
• 단일 엔드 투 엔드 학습 가능한 아키텍처에서 정적 종양 형태학적 특징과 동적 시간적 변화를 동시에 포착할 수 있는 딥러닝 모델을 개발하는 것.
• 기존 ConvLSTM을 공간-시간 영역으로 확장하여, 슬라이스 간 3차원 맥락과 종단적 종양 진행을 동시에 모델링하는 것.
• 통합된 프레임워크를 통해 부피 이외에도 세포 밀도 및 CT 강도와 같은 임상적으로 유의미한 종양 성질을 예측할 수 있도록 하는 것.
• 희소한 수동 레이블링을 최소화하고 4D 의료 영상 분할 작업에 일반화 가능성을 입증하는 것.

제안 방법

• ST-ConvLSTM는 표준 ConvLSTM을 개선하여 단일 순환 아키텍처 내에서 슬라이스 간 3차원 공간적 맥락과 시간 포인트 간 시간적 동역학을 통합한다.
• 모델은 4D 종양 영상 시퀀스(시간에 따른 3D 볼륨)를 처리하여 내부 슬라이스 특징과 슬라이스 간 3차원 구조적 관계를 동시에 학습한다.
• 비영상 임상 요소(예: 시간 간격, 환자별 데이터)를 엔드 투 엔드 학습 가능한 방식으로 추가 입력 채널로 통합한다.
• 공간 세부 정보를 유지하고 특징 재구성 성능을 향상시키기 위해 스케일드 연결을 갖춘 인코더-디코더 구조를 사용한다.
• 멀티태스크 헤드는 동일한 특징 공간에서 종양 부피, 세포 밀도, 방사선 밀도를 동시에 예측한다.
• 예측된 향후 종양 상태의 재구성 오차를 최소화하기 위해 픽셀 단위의 L2 손실 함수를 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 4D 영상 데이터에서 3차원 공간적 맥락과 시간적 동역학을 동시에 학습하는 딥러닝 모델이, 2D 기반 또는 전통적 수학적 모델보다 종양 부피 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 ST-ConvLSTM 모델이 종양 부피 이외에도 세포 밀도 및 CT 강도와 같은 임상적으로 중요한 성질을 예측할 수 있는가?
• RQ3 시간 간격 특징의 통합이 장기적 종양 성장 예측 성능에 어떤 영향을 미치는가?
• RQ4 ST-ConvLSTM가 희소한 레이블링을 가진 4D 의료 영상 분할 작업 등 다른 4D 의료 영상 과제로 일반화될 수 있는 정도는 어느 정도인가?
• RQ5 특히 장기간 간격에 걸쳐 예측할 경우, 모델이 즉각적인 다음 시간 단계를 넘어서도 높은 정확도를 유지하는가?

주요 결과

• ST-ConvLSTM는 향후 종양 부피 예측에서 상대적 부피 차이(RVD) 11.2% ± 10.8%와 Dice 스코어 83.2% ± 5.1%를 기록했으며, 기준 모델들보다 유의미하게 뛰어난 성능(유의수준 p < 0.05)을 보였다.
• 모델은 종양 부피뿐 아니라 세포 밀도 및 CT 강도와 같은 추가 성질도 동시에 예측하여 다중 성질 회귀 능력을 입증했다.
• 희소한 수동 레이블링만을 사용한 4D 심장 왼쪽 빈도 분할 과제에서 평균 Dice 스코어 86.3% ± 1.2%를 달성하여, 분할 과제로의 일반화 능력이 뛰어나다는 것을 보였다.
• 시간 간격 특징의 통합이 이 데이터셋에서는 성능 향상에 유의미한 영향을 주지 않았으며, 이는 일정한 1년 간격과 느리게 성장하는 종양 패tern 때문일 수 있다.
• 장기 예측(예: 시간 4)에서는 오차가 더 높았고(RVD = 37.2%), 단기 예측(시간 3에서 RVD = 15.7%)보다 오차가 더 큰 것으로 확인되어 장기 예측의 본질적 어려움을 확인했다.
• 적대적 훈련과 잔차 연결은 예측 결과의 뿌연 현상 감소 및 모델의 강건성 향상에 유망한 향후 연구 방향으로 규명되었다.