[논문 리뷰] Neural Dynamics Discovery via Gaussian Process Recurrent Neural Networks

Qi She, Anqi Wu|arXiv (Cornell University)|2019. 07. 01.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 15

한 줄 요약

이 논문은 고차원의 노이즈가 섞인 신경 데이터로부터 비선형적이고 비-마르코프성 잠재 동역학과 복잡한 비선형 임bedding을 동시에 학습하는 가우시안 프로세스 순환 신경망(GPRNN) 모델을 제안한다. 양방향 LSTM를 추론에 사용하고 비모수적 가우시안 프로세스를 유연한 동역학 모델링에 활용함으로써, 특히 샘플 수가 적은 상황에서도 기존 최고 수준의 접근법을 능가하는 뛰어난 재구성 정확도를 달성한다. 이는 가우시안 또는 포아송 관측값을 가진 시뮬레이션된 데이터와 실제 신경 데이터셋 모두에서 입증되었다.

ABSTRACT

Latent dynamics discovery is challenging in extracting complex dynamics from high-dimensional noisy neural data. Many dimensionality reduction methods have been widely adopted to extract low-dimensional, smooth and time-evolving latent trajectories. However, simple state transition structures, linear embedding assumptions, or inflexible inference networks impede the accurate recovery of dynamic portraits. In this paper, we propose a novel latent dynamic model that is capable of capturing nonlinear, non-Markovian, long short-term time-dependent dynamics via recurrent neural networks and tackling complex nonlinear embedding via non-parametric Gaussian process. Due to the complexity and intractability of the model and its inference, we also provide a powerful inference network with bi-directional long short-term memory networks that encode both past and future information into posterior distributions. In the experiment, we show that our model outperforms other state-of-the-art methods in reconstructing insightful latent dynamics from both simulated and experimental neural datasets with either Gaussian or Poisson observations, especially in the low-sample scenario. Our codes and additional materials are available at this https URL.

연구 동기 및 목표

• 고차원적이고 노이즈가 많은 신경 기록에서 복잡하고 비선형적이며 장거리 시간적 동역학을 복원하는 데 도전하는 것.
• 선형 임베딩, 단순한 상태 전이 또는 유연성 부족한 추론 네트워크에 의존하는 기존 방법의 한계를 극복하는 것.
• 낮은 샘플 수 데이터 시나리오에서 매끄럽고 시간에 따라 변화하는 잠재 궤적을 정확하게 발견할 수 있도록 하는 것.
• 비모수적이고 유연한 프레임워크를 개발하여 신경 동역학에서 비-마르코프성 의존성을 포괄하는 것.

제안 방법

• 비선형적이고 비-마르코프성 잠재 동역학을 모델링하기 위해 순환 신경망(RNN)과 비모수적 가우시안 프로세스를 통합한다.
• 과거와 미래의 맥락을 모두 포스트리어 확률 분포에 통합하기 위해 이중 방향 장기 단기 기억(LSTM, Bi-LSTM) 네트워크를 추론 네트워크로 사용한다.
• 잠재 상태 전이를 비모수적 GP로 모델링하여 복잡한 시간적 의존성을 데이터 기반으로도灵活하게 학습할 수 있도록 한다.
• 모델의 비가역성에도 불구하고 잠재 동역학과 임베딩 파라미터를 최적화하기 위해 공동 변분 추론 프레임워크를 활용한다.
• 다양한 신경 데이터 유형을 수용하기 위해 가우시안 및 포아송 관측 모델을 지원한다.
• 이중 방향 아키텍처를 활용해 추론 중 미래 맥락을 통합함으로써 포스트리어 근사의 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 RNN과 가우시안 프로세스의 공동 모델링 프레임워크가 신경 데이터에서 비선형적이고 비-마르코프성 동역학을 효과적으로 포착할 수 있는가?
• RQ2 추론 네트워크에 이중 방향 맥락을 통합함으로써 단방향 모델 대비 잠재 궤적 재구성 성능가 향상되는가?
• RQ3 제안된 모델이 낮은 샘플 수 데이터 시나리오에서 기존 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 모델이 신경 데이터에서 가우시안 및 포아송 관측 노이즈 모델 등 다양한 관측 노이즈 모델에 일반화 가능한가?

주요 결과

• 제안된 GPRNN 모델은 기존 최고 수준의 방법에 비해 시뮬레이션된 데이터와 실제 신경 데이터셋 모두에서 뛰어난 재구성 성능을 달성한다.
• 샘플 수가 적은 상황에서 특히 뛰어난 성능을 보이며, 정확한 잠재 동역학 재구성에서 베이스라인을 크게 능가한다.
• 이중 방향 LSTM를 사용한 포스트리어 추론은 미래 맥락을 활용함으로써 잠재 궤적 추정의 정밀도를 향상시킨다.
• 비모수적 가우시안 프로세스 구성 요소는 단순한 마르코프성 가정을 초월한 복잡하고 장거리 시간 의존성을 민감하게 모델링할 수 있도록 한다.
• 프레임워크는 가우시안 및 포아송 관측 모델을 성공적으로 처리하여 다양한 신경 데이터 유형에 대해 강건함을 입증한다.
• 실험 결과는 모델이 특히 노이즈가 많고 고차원적인 환경에서 더 통찰력 있고 매끄러운 잠재 동역학을 포착함을 확인한다.