[논문 리뷰] A Deep-Generative Hybrid Model to Integrate Multimodal and Dynamic Connectivity for Predicting Spectrum-Level Deficits in Autism

Niharika Shimona D’Souza, Mary Beth Nebel외 5명|arXiv (Cornell University)|2020. 07. 03.

Advanced Neuroimaging Techniques and Applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 자폐성 관련 장애(ASD)에서 다차원 임상 중증도를 예측하기 위해 동적 기능적 MRI(rs-fMRI) 연결성과 확산 토모그래피(DTI) 트랙토그래피를 융합한 딥-생성형 하이브리드 모델을 제안한다. 해부학적으로 정보를 갖춘 기능적 네트워크를 추출하기 위해 구조적 정규화 동적 사전 학습(sr-DDL)을 사용하고, 시간에 따른 동역학을 모델링하고 중증도를 예측하기 위해 LSTM-ANN을 활용한 프레임워크는 교차검증을 통한 다중 점수 예측에서 최신 기술 수준의 성능을 달성하였으며, 일반화 능력 향상과 해석 가능한 신경 서명을 제공한다.

ABSTRACT

We propose an integrated deep-generative framework, that jointly models complementary information from resting-state functional MRI (rs-fMRI) connectivity and diffusion tensor imaging (DTI) tractography to extract predictive biomarkers of a disease. The generative part of our framework is a structurally-regularized Dynamic Dictionary Learning (sr-DDL) model that decomposes the dynamic rs-fMRI correlation matrices into a collection of shared basis networks and time varying patient-specific loadings. This matrix factorization is guided by the DTI tractography matrices to learn anatomically informed connectivity profiles. The deep part of our framework is an LSTM-ANN block, which models the temporal evolution of the patient sr-DDL loadings to predict multidimensional clinical severity. Our coupled optimization procedure collectively estimates the basis networks, the patient-specific dynamic loadings, and the neural network weights. We validate our framework on a multi-score prediction task in 57 patients diagnosed with Autism Spectrum Disorder (ASD). Our hybrid model outperforms state-of-the-art baselines in a five-fold cross validated setting and extracts interpretable multimodal neural signatures of brain dysfunction in ASD.

연구 동기 및 목표

• ASD에서 연속적인 임상 중증도를 예측하기 위해 다중 모달 뇌영상(rs-fMRI 및 DTI)과 동적 연결성을 통합하는 통합 프레임워크를 개발하는 것.
• 기존 방법이 정적 연결망 또는 단일 모달리티에 집중하는 데서 비롯하는 한계를 해결하고, 특히 연속적인 행동 결함을 예측하는 데 초점을 맞추는 것.
• rs-fMRI의 동적 분해 과정에 DTI로부터의 해부학적 사전 지식을 통합하여 기능적 네트워크 분해의 해석 가능성과 생물학적 타당성을 향상시키는 것.
• LSTM-ANN을 사용해 기능적 연결 패턴의 시간적 변화를 모델링하여 다차원 임상 점수 예측 성능을 향상시키는 것.

제안 방법

• 프레임워크는 구조적 정규화 동적 사전 학습(sr-DDL) 모델을 사용하여 시간에 따라 변화하는 rs-fMRI 상관계수 행렬을 공통 기저 네트워크(B)와 환자별 동적 로딩(c^t_n)으로 분해하며, 이는 DTI 트랙토그래피 행렬에 의해 안내된다.
• sr-DDL 목적 함수는 DTI 연결성으로 정의된 가중 노름 하에 상관계수 행렬의 재구성 오차를 최소화하여 해부학적 타당성을 강제한다.
• 환자별 동적 로딩(c^t_n)은 시간 경향성을 모델링하고 M차원 임상 중증도 점수를 예측하기 위해 LSTM-ANN 블록으로 전달된다.
• 결합된 목적 함수를 통해 기저 네트워크(B), 동적 로딩(c^t_n), 딥 뉴럴 네트워크 가중치(Θ)를 동시에 학습하는 공동 최적화 절차를 사용한다.
• A-ANN에서 주의 메커니즘을 활용해 예측에 가장 관련성이 높은 시간 간격을 식별하여 해석 가능성 향상.
• 프레임워크는 57명의 ASD 환자를 대상으로 5개의 폴드로 교차검증을 수행하며, 중앙값 절대오차(MAE)와 상호정보량(MI)을 사용해 성능 평가.

실험 결과

연구 질문

• RQ1 하이브리드 딥-생성형 모델은 동적 rs-fMRI 연결성과 구조적 DTI 정보를 효과적으로 융합하여 ASD에서 연속적인 임상 중증도를 예측할 수 있는가?
• RQ2 DTI 트랙토그래피를 해부학적 사전 지식으로 통합함으로써 rs-fMRI의 기능적 네트워크 분해의 해석 가능성과 정확도는 어떻게 향상되는가?
• RQ3 기능적 연결의 시간적 동역학을 모델링하는 것이 정적 모델에 비해 다차원 ASD 증상 중증도 예측에 얼마나 기여하는가?
• RQ4 딥 네트워크에서 학습된 동적 로딩과 주의 메커니즘이 ASD에서 생물학적으로 의미 있는 환자별 뇌 dysregulation 패턴을 어떻게 드러내는가?
• RQ5 생성형 및 딥 러닝 구성 요소의 공동 최적화는 별도 또는 기준 모델에 비해 새로운 환자에 대한 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 제안된 하이브리드 모델은 모든 임상 점수에서 테스트 데이터에서 가장 낮은 중앙값 절대오차(MAE)를 기록하여 모든 기준 모델을 능가했다—ADOS는 2.84, SRS는 17.81, Praxis는 13.50.
• 모델은 테스트 데이터에서 가장 높은 상호정보량(MI)을 기록하여 예측 관계의 강도를 뜻하며, ADOS는 0.34, SRS는 0.88, Praxis는 0.85.
• sr-DDL 모델은 네 가지 해석 가능한 하위네트워크를 성공적으로 추출하였다: 하나는 기본 모드 네트워크(DMN)와 관련, 하나는 시각-감각운동 영역과 관련, 하나는 중심 실행 및 편도 신경망과 관련, 하나는 사회정서 조절에 관여하는 전두엽 및 고위부 영역과 관련.
• A-ANN의 주의 메커니즘은 예측에 가장 중요한 시간 간격(초기 스캔 대비 후기 스캔)을 식별하여 환자별로 다를 수 있는 동적 연결 패턴의 이질성을 반영했다.
• 모델는 뛰어난 일반화 능력을 보였으며, 예측 플롯에서 테스트 성능이 이상적인 대각선 선과 밀접하게 따라가며, 기준 모델이 개별 점수에서 과적합되는 것과 대비되었다.
• 제거 실험 결과, DTI 정규화를 제거할 경우 테스트 MAE가 증가(ADOS는 3.27)하고 MI가 감소(0.26)하여, 구조적 사전 지식이 강건성과 해석 가능성 향상에 기여함을 확인했다.