[논문 리뷰] Linear dynamical neural population models through nonlinear embeddings

Yuanjun Gao, Evan Archer외 2명|arXiv (Cornell University)|2016. 05. 26.

Neural dynamics and brain function참고 문헌 28인용 수 41

한 줄 요약

이 논문은 각 뉴런의 발화 빈도가 잠재적인 선형 동적 상태를 통해 임의의 비선형 함수로 부드럽게 의존하도록 허용함으로써 선형 동적 시스템을 확장한 비선형 생성 모델 fLDS를 소개한다. 시간에 따라 상관관계가 있는 근사 사후분포를 사용하는 새로운 변분 추론 기법을 통해 fLDS는 실제 신경 데이터셋에서 최신 기술 대비 뛰어난 예측 성능과 더 해석 가능한 저차원 표현을 달성하며, 더 적은 잠재 차원으로도 훨씬 더 많은 변동성을 포괄한다.

ABSTRACT

A body of recent work in modeling neural activity focuses on recovering low-dimensional latent features that capture the statistical structure of large-scale neural populations. Most such approaches have focused on linear generative models, where inference is computationally tractable. Here, we propose fLDS, a general class of nonlinear generative models that permits the firing rate of each neuron to vary as an arbitrary smooth function of a latent, linear dynamical state. This extra flexibility allows the model to capture a richer set of neural variability than a purely linear model, but retains an easily visualizable low-dimensional latent space. To fit this class of non-conjugate models we propose a variational inference scheme, along with a novel approximate posterior capable of capturing rich temporal correlations across time. We show that our techniques permit inference in a wide class of generative models.We also show in application to two neural datasets that, compared to state-of-the-art neural population models, fLDS captures a much larger proportion of neural variability with a small number of latent dimensions, providing superior predictive performance and interpretability.

연구 동기 및 목표

• 고차원 집단 데이터에서 복잡한 신경 변동성을 포착하지 못하는 선형 관측 모델의 한계를 해결하기 위해.
• 임의의 부드러운 비선형성을 허용하면서도 저차원이고 해석 가능한 잠재 공간을 유지하는 유연한 생성 모델을 개발하기 위해.
• 비공액(non-conjugate), 비선형 잠재 변수 모델에 대해 변분 추론을 통해 효율적인 추론을 가능하게 하기 위해.
• 잠재 역학이 선형인 경우조차도 비선형 관측 모델이 선형인 모델보다 진짜 저차원 신경 역학을 더 정확히 복원할 수 있음을 보여주기 위해.
• 신경 데이터 분석에서 넓은 범위의 잠재 LDS 모델에 적용 가능한 일반적인 추론 프레임워크를 제공하기 위해.

제안 방법

• 모든 뉴런의 스파ike 빈도가 공유된 저차원 선형 동적 시스템(LDS) 상태에 대한 임의의 부드러운 비선형 함수로 모델링되는 fLDS를 제안한다.
• 비선형 관측 모델을 사용: $\lambda_{rti} = f_i(\mathbf{z}_{rt})$, 여기서 $f_i$는 부드러운 함수(예: 가우시안 프로세스 또는 신경망)이며, $\mathbf{z}_{rt}$는 잠재 상태이다.
• 시간에 따라 rich한 상관관계를 포착하는 새로운 근사 사후분포를 사용하는 변분 추론 알고리즘을 개발하여, 비공액 모델에서 효율적인 추론을 가능하게 한다.
• 시간적 의존성을 가진 구조화된 연속적인 변분 분포를 사용하여 잠재 상태의 사후분포를 근사하는 인식 모델을 활용한다.
• 스파이크 수 계수의 과분산 및 과소분산을 고려하기 위해 포아송 및 가우시안-코프라(GC) 노이즈 모델을 모두 적용한다.
• 초기화 및 하이퍼파ram터 튜닝을 위해 훈련/검증 데이터 분할을 사용하며, 예측 성능 평가를 위해 한 단계 앞선 음의 로그우도(NLL) 감소율을 사용한다.

실험 결과

연구 질문

• RQ1 진짜 데이터 생성 과정이 비선형인 경우, 잠재 역학이 선형인데도 불구하고 비선형 관측 모델이 저차원 신경 역학을 더 잘 복원할 수 있는가?
• RQ2 fLDS는 실제 신경 집단 데이터에서 최신 선형 모델들(예: PLDS, GCLDS)보다 예측 성능과 설명 가능한 변동성에서 뛰어나게 성능을 발휘하는가?
• RQ3 특히 운동 피질 궤적 복원과 같은 작업에서 fLDS는 선형인 모델보다 더 해석 가능하고 압축된 잠재 표현을 생성할 수 있는가?
• RQ4 제안된 변분 추론 기법은 계수 값을 갖는 신경 데이터에 대해 복잡한 비공액 잠재 LDS 모델을 얼마나 효과적으로 피팅하는가?
• RQ5 각 뉴런마다 민감한 비선형 반응 함수를 포함함으로써, 고정된 선형 매핑보다 더 나은 신경 변동성 모델링이 가능한가?

주요 결과

• 마카크 중심-아웃 도약 데이터에서 fLDS는 2~3개의 잠재 차원으로 PLDS 및 GCLDS(10~20개 차원)보다 뛰어난 예측 성능을 보이며, 테스트 데이터에서 훨씬 낮은 음의 로그우도(NLL)를 기록했다.
• 마카크 운동 피질 데이터셋에서 PfLDS(포아송 fLDS)와 GCfLDS(가우시안-코프라 fLDS)는 2~3개 차원으로도 선형 대비 훨씬 더 높은 예측 가능성을 확보했다.
• PfLDS가 학습한 2차원 잠재 공간은 목표 방향에 따라 도약 궤적을 명확히 분리하고, 공간적 목표 위치에 따라 순서를 정리하며, 매우 높은 해석 가능성으로 나타났다.
• 시뮬레이션 결과에서 fLDS는 잠재 역학이 선형인 경우에도 진짜 저차원 비선형 다양체를 성공적으로 복원했지만, 선형인 모델은 그 구조를 포착하지 못했다.
• GC 노이즈 모델은 포아송 모델보다 신경 스파이크 수의 과소분산을 더 잘 포착했으며, 동일한 데이터에서 GCfLDS는 PfLDS보다 뛰어난 예측 성능을 보였다.
• 제안된 변분 추론 프레임워크는 포아송 및 GC 가능도를 갖는 fLDS 등 다양한 모델 변종에 대해 효율적인 훈련과 추론을 가능하게 하였으며, 실제 신경 데이터셋에 대한 확장성도 입증했다.