[論文レビュー] LFADS - Latent Factor Analysis via Dynamical Systems

David Sussillo, Rafał Józefowicz+2 more|arXiv (Cornell University)|Aug 22, 2016

Neural dynamics and brain function参考文献 24被引用数 69

ひとこと要約

LFADS は、再帰的動的システムを備えた変分オートエンコーダを用いて、高次元で単一試行の神経放電データから低次元で滑らかな潜在的動的状態を推定するディープラーニングフレームワークである。従来の手法に比べて、放電率と潜在的軌道の再構成性能が優れており、観測されない入力や初期状態の推定も可能であり、試行平均を用いない神経回路の堅牢な解析を可能にする。

ABSTRACT

Neuroscience is experiencing a data revolution in which many hundreds or thousands of neurons are recorded simultaneously. Currently, there is little consensus on how such data should be analyzed. Here we introduce LFADS (Latent Factor Analysis via Dynamical Systems), a method to infer latent dynamics from simultaneously recorded, single-trial, high-dimensional neural spiking data. LFADS is a sequential model based on a variational auto-encoder. By making a dynamical systems hypothesis regarding the generation of the observed data, LFADS reduces observed spiking to a set of low-dimensional temporal factors, per-trial initial conditions, and inferred inputs. We compare LFADS to existing methods on synthetic data and show that it significantly out-performs them in inferring neural firing rates and latent dynamics.

研究の動機と目的

• 試行平均に依存せずに、高次元で単一試行の神経放電データを分析する課題に対処すること。
• 複数の試行にわたる観測された神経活動を説明する低次元で滑らかな潜在的動的状態を推定すること。
• 直接測定されていない入力が神経活動を駆動している場合でも、それらの未観測の入力を推定すること。
• 神経データを非線形動的システムとして、潜在的要因と初期状態を含む、原理的で微分可能なフレームワークを提供すること。
• 特にノイジーまたはスパースなデータ環境下でも、従来の手法に比べて放電率と潜在的軌道の再構成性能を向上させること。

提案手法

• LFADS は、再帰的生成ネットワークを備えた変分オートエンコーダ（VAE）アーキテクチャを用い、神経動的状態を非線形動的システムとしてモデル化する。
• 生成ネットワークは、初期状態と推定された入力を用いて、隠れ状態を時間的に進化させ、滑らかな放電率推定値を生成するゲート付き再帰ユニット（GRU）である。
• エンコーダネットワークは、シーケンス・トゥ・シーケンス推論モデルを用いて、潜在的要因、初期状態、および入力の事後分布を推定する。
• 潜在変数には、低次元の時系列的要因、各試行ごとの初期状態、および時間的に変化する推定入力が含まれ、すべてガウス的事前分布でモデル化される。
• モデルは確率的バックプロパゲーションにより訓練され、変分下界を最小化する。KLダイバージェンス項を含み、事後分布を事前分布に正則化する。
• 正則化技術には、重み正規化、入力およびフィードフォワード接続へのドロップアウト、再帰的重みへのL2正則化、勾配クリッピングが含まれ、一般化性能の向上に寄与する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ダイナミクスを備えたディープジェネレーティブモデルは、PSTH や線形モデルといった従来手法に比べて、単一試行の神経放電データの再構成をより良く行えるか？
• RQ2 直接記録されていない入力が神経活動を駆動している場合でも、LFADS はそれらの未観測入力をどれほど正確に推定できるか？
• RQ3 ノイズが存在する状況でも、LFADS は高次元神経データから滑らかで低次元の潜在的動的状態をどれほど正確に回復できるか？
• RQ4 動的システム仮説を組み込むことで、フィードフォワード型や非動的モデルと比較して、神経データ表現の一般化性能と解釈可能性が向上するか？
• RQ5 LFADS は、試行固有の初期状態と試行間で共有される潜在的動的状態を効果的に分離できるか？

主な発見

• 合成データ上での神経放電率の再構成において、LFADS は従来手法に比べて顕著に優れており、再構成誤差が低く、推定された動的状態も滑らかである。
• 直接観測できない入力が神経活動を駆動している場合でも、LFADS はそれらの未観測入力を効果的に推定している。
• LFADS は、試行間で共有される動的状態を捉える低次元で滑らかな潜在的軌道を生成しており、解釈可能な神経回路解析を可能にする。
• KLスケジューリング、重み正規化、勾配クリッピングなどの正則化技術の導入により、過学習が抑制され、特に初期試行セグメントでの一般化性能が向上した。
• LFADS は滑らかな動的状態を学習することで、スパイク的で高周波数の推定放電率を回避しており、ノイズや過学習に対するロバストネスを示している。
• 初期状態の推定が可能であるため、試行ごとのコードを実現でき、行動的またはタスク関連の変動を試行単位で分析する支援が可能である。