[논문 리뷰] Predictive Image Regression for Longitudinal Studies with Missing Data

Sharmin Pathan, Yi Hong|arXiv (Cornell University)|2018. 08. 19.

Statistical Methods and Inference참고 문헌 21인용 수 14

한 줄 요약

이 논문은 LDDMM 프레임워크 내에서 시간에 따라 변하는 변형을 벡터 모멘텀 시퀀스로 모델링함으로써, 누락된 데이터가 있는 종단적 의료 영상 시퀀스를 예측하는 딥러닝 프레임워크를 제안한다. 기초 영상과 모멘텀 시퀀스를 인코딩하기 위해 CNN-LSTM 아키텍처를 사용하며, 디퍼모르픽 변형을 통해 영상 스캔을 재구성함으로써, 불규칙한 시간 간격과 누락된 스캔이 있는 상황에서도 정확하고 선명한 예측을 달성한다. 이는 합성 데이터와 OASIS MRI 데이터셋에서 검증되었다.

ABSTRACT

In this paper, we propose a predictive regression model for longitudinal images with missing data based on large deformation diffeomorphic metric mapping (LDDMM) and deep neural networks. Instead of directly predicting image scans, our model predicts a vector momentum sequence associated with a baseline image. This momentum sequence parameterizes the original image sequence in the LDDMM framework and lies in the tangent space of the baseline image, which is Euclidean. A recurrent network with long term-short memory (LSTM) units encodes the time-varying changes in the vector-momentum sequence, and a convolutional neural network (CNN) encodes the baseline image of the vector momenta. Features extracted by the LSTM and CNN are fed into a decoder network to reconstruct the vector momentum sequence, which is used for the image sequence prediction by deforming the baseline image with LDDMM shooting. To handle the missing images at some time points, we adopt a binary mask to ignore their reconstructions in the loss calculation. We evaluate our model on synthetically generated images and the brain MRIs from the OASIS dataset. Experimental results demonstrate the promising predictions of the spatiotemporal changes in both datasets, irrespective of large or subtle changes in longitudinal image sequences.

연구 동기 및 목표

• 불규칙하게 샘플링되거나 부분적으로 누락된 데이터가 있는 종단적 연구에서 후속 의료 영상 스캔을 예측하는 문제에 대응하기 위해.
• 비디오 유사 예측 작업에서 일반적인 딥러닝 모델이 보이는 흐릿한 영상 생성 문제를 해결하기 위해.
• LDDMM 영상 정렬의 기하학적 정밀도와 딥 네트워크의 데이터 기반 학습 능력을 통합하기 위해.
• 복잡한 평행 이동 연산을 요구하지 않고도 개별 환자 기반의 영상 예측을 가능하게 하기 위해.
• 인구 수준의 추세를 학습하면서도 개인 맞춤형 궤적 예측을 지원할 수 있는 확장 가능하고 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 기초 영상와 관련된 벡터 모멘텀 시퀀스를 예측함으로써, LDDMM 프레임워크 내에서 영상 변형을 매개변수화한다.
• 구성형 신경망(CNN)이 기초 영상의 특징 표현을 기초 영상의 탄젠트 공간에 매핑한다.
• 장기 단기 기억(LSTM) 네트워크가 시간에 따라 변화하는 벡터 모멘텀 시퀀스를 인코딩하여 시간 동적 특성을 포착한다.
• CNN과 LSTM의 특징를 융합하고 디코딩하여 영상 예측을 위한 벡터 모멘텀 시퀀스를 재구성한다.
• 훈련 중에 손실 계산을 누락된 시간 포인트에서 무시하기 위해 이진 마스크를 적용함으로써, 불완전한 종단적 데이터에 대한 강건한 처리를 가능하게 한다.
• 예측된 모멘텀 시퀀스를 사용하여 LDDMM 슈팅 방법을 적용해 기초 영상을 변형함으로써 영상 시퀀스를 재구성한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 불규칙한 시간 간격과 누락된 스캔이 있는 종단적 의료 영상 시퀀스를 정확하게 예측할 수 있는가?
• RQ2 모델이 종단적 MRI 데이터에서 뇌 실질 확장과 같은 미세한 점진적 해부학적 변화를 얼마나 잘 포착할 수 있는가?
• RQ3 LDDMM을 딥 네트워크와 통합할 경우, 표준 픽셀 기반 비디오 예측 네트워크에 비해 예측의 선명함이 향상되는가?
• RQ4 모델이 알려진 변형 패턴을 가진 합성 데이터와 실제 임상 데이터셋인 OASIS에 일반화 가능한가?
• RQ5 탄젠트 공간 내에서의 벡터 모멘텀 시퀀스 사용이 모델의 정확하고 해부학적으로 타당한 영상 시퀀스 재구성 능력을 얼마나 향상시키는가?

주요 결과

• OASIS 데이터셋에서 치매가 없는 환자에게서 평균 예측 오차는 5.8616e-4 ± 1.0703e-4이며, 치매가 있는 환자에게서는 6.1105e-4 ± 1.9793e-4로, 영상 시퀀스 재구성의 높은 정확도를 보였다.
• 모델은 뇌 위축 진행, 특히 뇌실 확장과 같은 미세한 변화를 성공적으로 포착하였으며, 변형 맵을 통해 시간이 지남에 따라 뇌실 주변의 격자 구조가 확장되는 경향을 확인하였다.
• 예측된 스캔과 실제 스캔 간의 예측 차이가 후속 스캔과 기초 스캔 간의 차이보다 항상 작았으며, 이는 재구성 정밀도 향상을 입증하였다.
• 집단 아틀라스에서 시간이 흐름에 따라 정방향 및 역방향으로 모두 타당한 영상 시퀀스를 생성하였으며, 신경퇴행성 과정과 일치하는 점진적인 뇌 변화를 보였다.
• 훈련 중 이진 마스크를 사용함으로써 누락된 데이터 포인트를 효과적으로 무시하여, 관찰 일정이 불완전하더라도 높은 성능을 유지할 수 있었다.
• 장기적인 종단적 데이터로부터 인구 수준의 변형 추세를 학습함으로써, 큰 시간 간격이 있는 스캔을 포함한 누락된 스캔 예측에서도 강건성을 보였다.