[論文レビュー] Neural Dynamics Discovery via Gaussian Process Recurrent Neural Networks

Qi She, Anqi Wu|arXiv (Cornell University)|Jul 1, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用数 15

ひとこと要約

本稿では、高次元でノイズの多い神経データから非線形でマルコフ的でない潜在的ダイナミクスと複雑な非線形埋め込みを同時に学習するガウス過程再帰ニューラルネットワーク（GPRNN）モデルを提案する。双方向LSTMを推論に、非パラメトリックなガウス過程を柔軟なダイナミクスモデリングに用いることで、特に少数サンプルの状況下でも優れた再構成精度を達成し、ガウス分布またはポisson分布の観測を持つシミュレート済みおよび実際の神経データセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Latent dynamics discovery is challenging in extracting complex dynamics from high-dimensional noisy neural data. Many dimensionality reduction methods have been widely adopted to extract low-dimensional, smooth and time-evolving latent trajectories. However, simple state transition structures, linear embedding assumptions, or inflexible inference networks impede the accurate recovery of dynamic portraits. In this paper, we propose a novel latent dynamic model that is capable of capturing nonlinear, non-Markovian, long short-term time-dependent dynamics via recurrent neural networks and tackling complex nonlinear embedding via non-parametric Gaussian process. Due to the complexity and intractability of the model and its inference, we also provide a powerful inference network with bi-directional long short-term memory networks that encode both past and future information into posterior distributions. In the experiment, we show that our model outperforms other state-of-the-art methods in reconstructing insightful latent dynamics from both simulated and experimental neural datasets with either Gaussian or Poisson observations, especially in the low-sample scenario. Our codes and additional materials are available at this https URL.

研究の動機と目的

• 高次元でノイズの多い神経記録から、複雑で非線形的かつ長時間スケールの時間的ダイナミクスを回復する課題に対処すること。
• 線形埋め込みや単純な状態遷移、不柔軟な推論ネットワークに依存する既存手法の限界を克服すること。
• 少数サンプルのデータ環境下でも滑らかで時間的に変化する潜在的軌道を正確に同定できること。
• 非マルコフ的依存関係を捉える柔軟で非パラメトリックなフレームワークを構築すること。

提案手法

• 再帰的ニューラルネットワーク（RNN）と非パラメトリックなガウス過程を統合し、非線形的で非マルコフ的な潜在的ダイナミクスをモデル化する。
• 過去と未来の文脈を事後分布に統合するために、双方向長短期記憶（Bi-LSTM）ネットワークを推論ネットワークとして用いる。
• 潜在状態遷移を非パラメトリックなGPでモデル化することで、複雑な時間的依存関係を柔軟にデータ駆動で学習可能にする。
• モデルの不確実性を考慮した共同変分推論フレームワークを採用し、モデルの非可解性にもかかわらず潜在的ダイナミクスと埋め込みパラメータを最適化する。
• 多様な神経データタイプに対応するため、ガウス分布およびポisson分布の観測モデルをサポートする。
• 双方向構造を活用し、推論時に将来の文脈を組み込むことで、事後分布の近似精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 RNNとガウス過程の共同モデリングフレームワークは、神経データにおける非線形的で非マルコフ的ダイナミクスを効果的に捉えることができるか？
• RQ2 推論ネットワークに双方向的文脈を組み込むことで、一方向モデルと比較して潜在的軌道の再構成性能がどのように向上するか？
• RQ3 本手法は、少数サンプルのデータ環境下で、既存手法をどの程度上回るか？
• RQ4 本モデルは、神経データにおいてガウス分布とポisson分布の両方の観測ノイズモデルに一般化可能か？

主な発見

• 提案されたGPRNNモデルは、最先端の手法と比較して、シミュレート済みおよび実際の神経データセットの両方で優れた再構成性能を達成した。
• 本モデルは特に少数サンプルの状況下で顕著な優位性を示し、正確な潜在的ダイナミクスの再構成においてベースラインを大きく上回った。
• 双方向LSTMを用いた事後推論により、将来の文脈を活用することで、潜在的軌道推定の質が向上した。
• 非パラメトリックなガウス過程部は、単純なマルコフ的仮定を超える複雑で長距離の時間的依存関係を柔軟にモデル化可能であった。
• フレームワークはガウス分布およびポisson分布の両方の観測モデルを効果的に処理でき、さまざまな神経データタイプにわたる頑健性を示した。
• 実験的結果から、本モデルはノイズが多く高次元な環境下でも、より洞察に富んだ滑らかな潜在的ダイナミクスを捉えられると確認された。