[論文レビュー] Learning identifiable and interpretable latent models of high-dimensional neural activity using pi-VAE

Ding Zhou, Xue-Xin Wei|arXiv (Cornell University)|Nov 9, 2020

Neural dynamics and brain function参考文献 69被引用数 49

ひとこと要約

pi-VAEは識別可能なVAEの概念をタスク変数条件付けと結合し、高次元ニューロンデータにおける解釈可能で識別可能な潜在構造を学習します。標準的なVAEやチューニングカーブモデルよりも適合度と潜在構造の解釈性を向上させます。

ABSTRACT

The ability to record activities from hundreds of neurons simultaneously in the brain has placed an increasing demand for developing appropriate statistical techniques to analyze such data. Recently, deep generative models have been proposed to fit neural population responses. While these methods are flexible and expressive, the downside is that they can be difficult to interpret and identify. To address this problem, we propose a method that integrates key ingredients from latent models and traditional neural encoding models. Our method, pi-VAE, is inspired by recent progress on identifiable variational auto-encoder, which we adapt to make appropriate for neuroscience applications. Specifically, we propose to construct latent variable models of neural activity while simultaneously modeling the relation between the latent and task variables (non-neural variables, e.g. sensory, motor, and other externally observable states). The incorporation of task variables results in models that are not only more constrained, but also show qualitative improvements in interpretability and identifiability. We validate pi-VAE using synthetic data, and apply it to analyze neurophysiological datasets from rat hippocampus and macaque motor cortex. We demonstrate that pi-VAE not only fits the data better, but also provides unexpected novel insights into the structure of the neural codes.

研究の動機と目的

• 高次元ニューロンデータに対して柔軟性と解釈性の両立が必要であることを説く。
• 潜在構造とそのタスク変数との関係を共同でモデリングする生成フレームワークを開発する。
• ラベル事前とポアソン観測ノイズを組み込むことで識別性と解釈性を達成する。
• 神経データセットにおいて、pi-VAEがベースラインよりもデータ適合度が高く、潜在構造の解釈性が高いことを示す。

提案手法

• 生成モデル p_theta(x,z|u) = p_f(x|z) p_{T,lambda}(z|u) を定義する。
• ラベル事前 p_{T,lambda}(z|u) を、ネットワークでパラメータ化された自然パラメータ lambda(u) を用いた条件付き独立な指数族分布としてモデル化する。
• p_f(x|z) を、発火率 f(z) を用いたポアソン観測として表現し、一般化可逆フロー（GIN）を用いて高次元出力を扱う。
• GINを拡張して m次元 z から n次元 x へ写像し、f が単射になるようにする。
• q(z|x,u) ∝ q_phi(z|x) p_{T,lambda}(z|u) を用いた識別可能なVAE風推論方式を採用し、学習を扱いやすくするためにガウス近似を用いる。
• 穏やかな条件の下で識別性を証明し、合成データおよび電気生理学データセットで検証する。

実験結果

リサーチクエスチョン

• RQ1 pi-VAEは、タスク変数をラベルとして活用しつつ、高次元ニューロン記録において解釈可能で識別可能な潜在構造を回復できるか。
• RQ2 ラベル事前の組み込みが、標準的なVAEやチューニングカーブアプローチと比較してモデル適合度と潜在分離性を改善するか。
• RQ3 pi-VAEを用いた場合、実際のニューロンデータ（例：海馬CA1およびM1/PMd）でどのような潜在幾何が現れるか。
• RQ4 神経データセットにおけるデコードおよびエンコードタスクで、pi-VAEは従来の方法と比べてどのように性能を発揮するか。

主な発見

• pi-VAEは、テストデータ上の周辺対数尤度が高いことで、VAEおよびチューニングカーブモデルよりも保持データへの適合度が高い。
• pi-VAEはタスク関連変数（例：到達方向）を、チューニングカーブモデルより高い精度でデコードし、特に運動の初期段階で顕著。
• pi-VAEの潜在空間は解釈可能な幾何を示し、方向情報と時間的ダイナミクスを分離する（例：サルの到達データでは、最初の2次元が方向を、他は軌道の進行を表す）。
• ラットのCA1データでは、pi-VAEがトラック幾何と整合する潜在多様体を明らかにし、方向性の分離が場所細胞特性と一致し、時間的構造が theta リズム（約10 Hz）に関連している。
• pi-VAEの潜在構造は、他の方法（UMAP、PfLDS、LFADS、demixed PCA）よりもより解離され、物理的に意味を持つ。
• ラベル事前と識別可能なフレームワークにより、同定可能な変換に対して解釈可能な事後推定 p(z|x,u) を可能にし、神経コードに関する科学的洞察を支援する。