[논문 리뷰] Targeted Neural Dynamical Modeling

Cole Hurwitz, Akash Srivastava외 5명|arXiv (Cornell University)|2021. 10. 28.

Neural dynamics and brain function참고 문헌 25인용 수 22

한 줄 요약

이 논문은 비선형 상태공간 모델인 타겟팅된 신경역학적 모델링(TNDM)을 소개한다. TNDM는 은닉 동역학을 행동과 관련된 요소와 관련이 없는 요소로 분해함으로써 신경 활동과 행동을 동시에 모델링한다. TNDM는 순차적 변분 autoencoder(sVAE)를 사용하여 저차원의 예측 가능한 동역학을 학습하며, 이 동역학은 신경 데이터와 행동을 탄력적이고 인과적인 시간적 관계로 재구성한다. 이는 PSID와 LFADS보다 행동 예측 성능이 뛰어나면서도 신경 데이터 피팅 성능을 유지한다.

ABSTRACT

Latent dynamics models have emerged as powerful tools for modeling and interpreting neural population activity. Recently, there has been a focus on incorporating simultaneously measured behaviour into these models to further disentangle sources of neural variability in their latent space. These approaches, however, are limited in their ability to capture the underlying neural dynamics (e.g. linear) and in their ability to relate the learned dynamics back to the observed behaviour (e.g. no time lag). To this end, we introduce Targeted Neural Dynamical Modeling (TNDM), a nonlinear state-space model that jointly models the neural activity and external behavioural variables. TNDM decomposes neural dynamics into behaviourally relevant and behaviourally irrelevant dynamics; the relevant dynamics are used to reconstruct the behaviour through a flexible linear decoder and both sets of dynamics are used to reconstruct the neural activity through a linear decoder with no time lag. We implement TNDM as a sequential variational autoencoder and validate it on simulated recordings and recordings taken from the premotor and motor cortex of a monkey performing a center-out reaching task. We show that TNDM is able to learn low-dimensional latent dynamics that are highly predictive of behaviour without sacrificing its fit to the neural data.

연구 동기 및 목표

• 기존의 은닉 동역학 모델이 행동과 관련된 신경 동역학을 관련이 없는 변동성으로부터 분리하는 데에 한계가 있음을 해결하기 위해.
• 시간 지연이 없는 가정과 비선형 동역학을 포착할 수 없는 선형 모델인 PSID의 제약을 극복하기 위해.
• 은닉 동역학과 행동 간에 탄력적이고 인과적인 시간적 의존성을 가진 채널로 신경 활동과 행동을 동시에 모델링하는 방법을 개발하기 위해.
• 행동과 관련된 요소와 관련이 없는 요소를 분리함으로써 신경 집단 동역학의 해석 가능성과 예측 능력을 향상시키기 위해.
• 중앙에서 외부로 향하는 운동 작업 중 개의 전운동피질 및 운동피질에서의 실제 신경 기록과 합성 데이터를 바탕으로 모델을 검증하기 위해.

제안 방법

• TNDM는 비선형 상태공간 모델에서 효율적인 추론을 가능하게 하는 순차적 변분 autoencoder(sVAE)를 사용하여 암시적 추론을 수행한다.
• 모델은 은닉 동역학을 두 성분으로 분해한다: 행동과 관련된 동역학(인과적 선형 디코더에 의해 구동됨)과 행동과 관련이 없는 동역학(행동과 무관함).
• 관련된 동역학과 관련이 없는 동역학의 초기 조건 분포에 대해 분리 페널티를 적용하여 변동성의 원인을 분리하도록 유도한다.
• 행동과 관련된 동역학은 시간 지연이 있는 인과적 선형 디코더를 통해 행동을 재구성하며, 이는 즉각적인 대응을 넘어서 탄력적인 시간적 관계를 가능하게 한다.
• 관련된 동역학과 관련이 없는 동역학은 선형 디코더를 통해 관측된 신경 활동을 시간 지연 없이 복원하며, 데이터 무결성을 유지한다.
• 모델은 신경 데이터와 행동의 재구성을 균형 잡는 변분 하한을 사용하여 엔드 투 엔드로 훈련되며, 생물학적으로 비현실적인 진동을 방지하기 위해 초모수를 조정한다.

실험 결과

연구 질문

• RQ1 비선형 상태공간 모델은 집단 활동에서 행동과 관련된 신경 동역학과 관련이 없는 동역학을 효과적으로 분리할 수 있는가?
• RQ2 은닉 동역학과 행동 간에 시간 지연이 있는 인과적 관계를 允허하면, 즉각적인 대응을 가정하는 모델에 비해 행동 예측 성능이 향상되는가?
• RQ3 초기 조건 분포에 대한 분리 페널티가 학습된 동역학의 해석 가능성과 예측 능력을 향상시키는가?
• RQ4 TNDM은 PSID와 LFADS와 같은 최첨단 모델에 비해 행동 예측 및 신경 데이터 재구성 정확도 측면에서 어떻게 비교되는가?
• RQ5 중앙에서 외부로 향하는 운동 작업에서 운동 동역학을 포착하기 위해 행동과 관련된 은닉 공간의 최적 차원은 얼마인가?

주요 결과

• TNDM는 합성 데이터와 실제 신경 데이터 양 쪽에서 PSID와 LFADS보다 더 높은 행동 예측 정확도를 달성했으며, 행동 예측 능력이 가장 뛰어난 두 개의 관련 은닉 요소에서 관찰되었다.
• TNDM의 행동과 관련된 동역학는 PSID와 LFADS의 것보다 더 저차원적이고 더 예측 가능했으며, 이는 2차원 이동 동역학에 대해 더 낮은 내재 차원성이 존재할 수 있음을 시사한다.
• 모델의 행동 예측 포화 지점은 두 개의 관련 요소에서 관찰되었으며, 이는 이 차원이 손의 속도와 관련된 핵심 동역학을 포착하고 있음을 나타낸다.
• TNDM의 관련이 없는 동역학는 일관되고 작업에 의존하지 않는 패턴을 보였는데, 이는 초기 변동성 이후 점진적인 증가를 보이며 일반적인 운동 실행 과정을 반영할 수 있음을 시사한다.
• 분리 페널티는 관련된 동역학과 관련이 없는 동역학을 성공적으로 분리했으며, 관련된 요소는 운동 속도와 강한 상관관계를 보였고, 관련이 없는 요소는 최소한의 작업 의존성을 보였다.
• TNDM는 LFADS 수준의 강력한 신경 데이터 재구성 성능를 유지했으며, 이는 향상된 행동 예측 능력이 데이터 피팅 능력의 손실을 동반하지 않음을 보여준다.