[논문 리뷰] Nonlinear Evolution via Spatially-Dependent Linear Dynamics for Electrophysiology and Calcium Data

Daniel Hernandez, Antonio Khalil Moretti외 4명|arXiv (Cornell University)|2018. 11. 06.

Neural dynamics and brain function참고 문헌 19인용 수 9

한 줄 요약

이 논문은 국소선형동역계(LLDS)를 통해 공간에 따라 변화하는 선형 동역계를 사용하여 비선형적이고 부드러운 잠재 동역계를 모델링하는 변분 추론 프레임워크인 비선형 동역계를 위한 변분 추론(VIND)을 소개한다. VIND는 전기생리학, 단세포 전압, 광역 칼슘 이미징 데이터 세트에서 재구성 및 예측 성능이 최고 수준이며, 예측 평균제곱오차에서 뚜렷한 향상과 생물학적으로 해석 가능한 잠재 차원의 발견을 이룩한다.

ABSTRACT

Latent variable models have been widely applied for the analysis of time series resulting from experimental neuroscience techniques. In these datasets, observations are relatively smooth and possibly nonlinear. We present Variational Inference for Nonlinear Dynamics (VIND), a variational inference framework that is able to uncover nonlinear, smooth latent dynamics from sequential data. The framework is a direct extension of PfLDS; including a structured approximate posterior describing spatially-dependent linear dynamics, as well as an algorithm that relies on the fixed-point iteration method to achieve convergence. We apply VIND to electrophysiology, single-cell voltage and widefield imaging datasets with state-of-the-art results in reconstruction error. In single-cell voltage data, VIND finds a 5D latent space, with variables akin to those of Hodgkin-Huxley-like models. VIND's learned dynamics are further quantified by predicting future neural activity. VIND excels in this task, in some cases substantially outperforming current methods.

연구 동기 및 목표

• 순차적인 뇌과학 데이터에서 비선형적이고 부드러운 잠재 동역계를 모델링하기 위한 확장성 있고 정확한 변분 추론 프레임워크를 개발하는 것.
• 선형 동역계 모델과 표준 변분 근사의 한계를 해결하여 복잡한 비선형 신경 동역계를 포괄하는 것.
• 구조화된 안정적인 사후 근사에서 잠재 동역계(전이)와 데이터 인코딩(인식)을 분리하여 추론을 가능하게 하는 것.
• 고차원적이고 노이즈가 많은 관측치를 가진 실험 데이터 세트에서 신경 활동의 생성 모델링과 장기 예측을 향상시키는 것.
• 단세포 전압 및 집단 이미징 데이터에서 생물학적으로 의미 있는 잠재 차원과 동역계를 밝혀내는 것.

제안 방법

• VIND는 국소선형동역계(LLDS)를 사용하여 잠재 공간 내의 비선형 진화를 모델링하는 구조화된 근사 사후를 적용하며, 전이 행렬이 잠재 상태 전역에 걸쳐 공간적으로 변화한다.
• 고정점 반복을 사용하여 변분 목표함수를 최적화함으로써 수렴성과 시간 포인트 수에 대해 선형 시간 복잡도를 가지는 효율적 추론을 가능하게 한다.
• PfLDS 프레임워크를 확장하여 근사 사후가 생성 모델의 동역계 정확한 비선형 구조를 공유할 수 있도록 한다.
• 인식 모델(관측치를 잠재 상태로 인코딩)과 전이 모델(동역계)을 분리함으로써 분리된 추론을 가능하게 한다.
• 인식 모델에서 몬테카를로 샘플링을 사용하여 변분 하한(ELBO)을 최적화하며, 고정점 반복 과정을 통해 기울기를 역전파한다.
• TensorFlow로 구현되었으며, 입력 기반 및 감독 설정으로의 확장도 지원한다.

실험 결과

연구 질문

• RQ1 변분 추론 프레임워크가 뇌과학 시계열 데이터에서 비선형적이고 부드러운 잠재 동역계를 효과적으로 모델링할 수 있는가?
• RQ2 진정한 비선형 동역계를 반영한 구조화된 근사 사후가 재구성 및 예측 정확도를 향상시키는가?
• RQ3 VIND는 단세포 전압 기록에서 허드킨-후크스리 모델 변수와 유사한 특성을 지닌 생물학적으로 해석 가능한 잠재 차원을 밝혀낼 수 있는가?
• RQ4 VIND의 학습된 동역계는 신경 활동의 장기 예측에 얼마나 잘 일반화되는가?
• RQ5 한 뇌 영역(예: 좌측 대뇌피질)에서 학습한 잠재 동역계가 광역 이미징 데이터에서 다른 영역(예: 우측 대뇌피질)의 활동을 예측할 수 있는가?

주요 결과

• VIND는 전기생리학, 단세포 전압, 광역 칼슘 이미징 데이터 세트에서 재구성 오차가 최고 수준이며, 예측 평균제곱오차에서 기존 방법들보다 수개의 주기로 뛰어난 성능을 보였다.
• 단세포 전압 데이터에서는 VIND가 5차원의 잠재 공간을 식별하였으며, 그 구성 요소들이 허드킨-후크스리 유형의 이온 채널 동역계와 유사한 특성을 지녔다.
• VIND는 뛰어난 장기 예측 성능을 보였으며, 최대 30단계 앞서 예측해도 정확도 저하가 거의 없었고, 기준 모델들보다 뚜렷한 우월성을 보였다.
• 광역 이미징에서 VIND는 좌측 대뇌피질 잠재 상태에서 오른쪽 대뇌피질 코어탈 동역계를 재구성했으며, 분산가중 R²가 0.49를 기록하여 CCA 기준 모델(R² = 0.45)을 능가했다.
• VIND의 잠재 궤적은 자극 전류에 따라 다른 상태공간 점유 패턴을 보였으며, 이는 전기생리학 데이터에서 시험 유형을 명확히 분리할 수 있도록 했다.
• 이 프레임워크의 추론 알고리즘은 시간 포인트 수에 대해 선형적으로 확장 가능하여 장시간 신경 시계열 데이터에 대한 효율적 학습이 가능하다.