[논문 리뷰] Variational online learning of neural dynamics

Yuan Zhao, Il Memming Park|arXiv (Cornell University)|2017. 07. 27.

Neural dynamics and brain function참고 문헌 65인용 수 5

한 줄 요약

이 논문은 스트리밍 신경 데이터로부터 비선형 신경 동역학과 잠재 상태를 동시에 추론하기 위한 변분 온라인 학습 프레임워크인 변분 공동 필터링(Variational Joint Filtering, VJF)을 제안한다. 확률적 경사 하강 변분 베이즈를 사용하여 VJF는 실시간, 일정한 시간 및 공간 복잡도로 동역학 모델과 관측 모델을 모두 학습할 수 있으며, 복잡하고 진동하는 신경 동역학을 유연한 잡음 모델로 피팅하는 데 기존 방법들을 능가한다.

ABSTRACT

New technologies for recording the activity of large neural populations during complex behavior provide exciting opportunities for investigating the neural computations that underlie perception, cognition, and decision-making. Nonlinear state space models provide an interpretable signal processing framework by combining an intuitive dynamical system with a probabilistic observation model, which can provide insights into neural dynamics, neural computation, and development of neural prosthetics and treatment through feedback control. It brings the challenge of learning both latent neural state and the underlying dynamical system because neither is known for neural systems a priori. We developed a flexible online learning framework for latent nonlinear state dynamics and filtered latent states. Using the stochastic gradient variational Bayes approach, our method jointly optimizes the parameters of the nonlinear dynamical system, the observation model, and the black-box recognition model. Unlike previous approaches, our framework can incorporate non-trivial distributions of observation noise and has constant time and space complexity. These features make our approach amenable to real-time applications and the potential to automate analysis and experimental design in ways that testably track and modify behavior using stimuli designed to influence learning.

연구 동기 및 목표

• 고차원의 스트리밍 신경 데이터로부터 비선형 신경 동역학을 실시간으로 온라인 학습할 수 있도록 한다.
• 사전 지식 없이도 잠재 신경 상태와 그 뒤에 있는 비선형 동역학 시스템의 파라미터를 함께 추론한다.
• 오프라인 방법과 근사 베이지안 필터의 한계를 극복하여 시간적 의존성과 임의의 관측 잡음 처리에 유리하다.
• 적응형 실시간 분석과 刺자 자극 설계를 가능하게 하여 봉쇄형 신경생리학 실험을 지원한다.
• 신경 집단 활동에서 고정점, 한계 순환, 그리고 안착점과 같은 동역학적 특징을 식별할 수 있는 해석 가능한 프레임워크를 제공한다.

제안 방법

• 비선형 동역학 시스템, 관측 모델, 그리고 블랙박스 인식 모델의 파라미터를 동시에 최적화하기 위해 확률적 경사 하강 변분 베이즈(SGVB)를 사용한다.
• 비선형 동역학을 갖는 연속 시간 상태공간 모델을 사용하며, $ \dot{\vx} = F_\theta(\vx, \vu) $로 표현하고, 이는 $ \vx_{t+1} = f_\theta(\vx_t, \vu_t) + \boldsymbol{\epsilon}_t $로 이산화된다.
• 비선형 동역학을 매개변수화하기 위해 반경 기반 함수(RBF) 네트워크를 사용하여 속도장의 매끄럽고 정규화된 근사가 가능해진다.
• 신경 기록에서 비정상적인 잡음 분포를 처리하기 위해 민감한 관측 모델(Gaussian, Poisson 등)을 통합한다.
• 온라인 최적화와 인식 네트워크를 통한 암시적 추론을 통해 시간 단위당 일정한 시간 및 공간 복잡도를 유지한다.
• 다양이 가능한 초기화 및 적응형 초기화(예: 차원 축소를 통한)를 통해 수렴성과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 일관된 계산 비용으로 스트리밍 데이터로부터 비선형 신경 동역학과 잠재 상태를 완전히 온라인, 변분 추론 프레임워크로 함께 학습할 수 있는가?
• RQ2 이 방법은 합성 및 실제 신경 데이터에서 복잡한 동역학적 특징(예: 한계 순환, 고정점)을 얼마나 잘 복원하는가?
• RQ3 임의의 관측 잡음이 있는 신경 동역학을 피팅하는 데 있어 기존의 오프라인 및 근사 온라인 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 이 프레임워크는 봉쇄형 신경생리학 및 적응형 실험 설계와 같은 실시간 응용을 지원할 수 있는가?
• RQ5 RBF 수나 네트워크 깊이와 같은 주요 초기화 설정에 대해 이 방법은 얼마나 강인한가?

주요 결과

• VJF는 다양한 합성 데이터셋에서 일관된 성능을 보이며, 진동하는 동역학과 한계 순환과 같은 동역학적 특징을 정확히 복원한다.
• 차원 축소를 통한 온난 스타트 초기화를 사용할 경우, 무작위 초기화보다 수렴 속도가 빠르고 더 높은 로그우도 및 ELBO 값을 달성한다.
• 시간 단위당 일정한 시간 및 공간 복잡도를 유지하여 스트리밍 신경 데이터에 대한 실시간 구동이 가능하다.
• 합성 및 실제 신경 데이터에서 최신 기술 대비 우수한 적합도 지표(Log-likelihood 및 ELBO)를 기록한다.
• 비선형이고 비정규 분포인 동역학 조건에서도 고정점과 안착점과 같은 해석 가능한 동역학적 특징을 성공적으로 식별한다.
• RBF 수나 네트워크 깊이와 같은 핵심 초기화 설정에 대한 변동에 대해 강인하며, 결과의 정성적 변화가 최소한이다.