[論文レビュー] Efficient non-conjugate Gaussian process factor models for spike count data using polynomial approximations

Stephen Keeley, David M. Zoltowski+4 more|arXiv (Cornell University)|Jun 7, 2019

Gaussian Processes and Bayesian Inference参考文献 31被引用数 6

ひとこと要約

本稿では、非共役ガウス過程要因モデルのスパイクカウントデータへの適合を、2次直交多項式を用いて非線形尤度項を近似する高速かつ高精度な方法、Polynomial Approximate Log-likelihood (PAL) を提案する。PAL は周辺尤度の閉形式評価を可能にし、最適化を迅速化する。BBVI や vLGP よりも高速かつ収束性に優れ、シミュレーテッドおよび実際の神経データにおいて、ベルヌーイ、ポアソン、ネガティブバイノミアル観測モデルを含む、さまざまな分布に対して有効な初期化を提供する。

ABSTRACT

Gaussian Process Factor Analysis (GPFA) has been broadly applied to the problem of identifying smooth, low-dimensional temporal structure underlying large-scale neural recordings. However, spike trains are non-Gaussian, which motivates combining GPFA with discrete observation models for binned spike count data. The drawback to this approach is that GPFA priors are not conjugate to count model likelihoods, which makes inference challenging. Here we address this obstacle by introducing a fast, approximate inference method for non-conjugate GPFA models. Our approach uses orthogonal second-order polynomials to approximate the nonlinear terms in the non-conjugate log-likelihood, resulting in a method we refer to as extit{polynomial approximate log-likelihood} (PAL) estimators. This approximation allows for accurate closed-form evaluation of marginal likelihoods and fast numerical optimization for parameters and hyperparameters. We derive PAL estimators for GPFA models with binomial, Poisson, and negative binomial observations and find the PAL estimation is highly accurate, and achieves faster convergence times compared to existing state-of-the-art inference methods. We also find that PAL hyperparameters can provide sensible initialization for black box variational inference (BBVI), which improves BBVI accuracy. We demonstrate that PAL estimators achieve fast and accurate extraction of latent structure from multi-neuron spike train data.

研究の動機と目的

• 非ガウス分布のスパイクカウントデータに適用される非共役推論の課題に対処すること。
• ポアソン、ベルヌーイ、ネガティブバイノミアル尤度を有するモデルに対して、BBVI などのサンプリングベースの推論手法の代替として計算効率の高い手法を開発すること。
• 直交多項式を用いて非線形対数尤度項を近似することで、周辺尤度の直接最適化を可能にすること。
• ブラックボックス変分推論（BBVI）の安定性と収束性を向上させるために、強力な初期パラメータ推定値を提供すること。
• マウスおよび霊長類皮質からのシミュレーテッドおよび実際のマルチニューロン神経データを用いて、本手法の精度と速度を実証すること。

提案手法

• スパイクカウント観測を持つ非共役 GPFA モデルの非線形対数尤度項を、2次直交多項式で近似する。
• 多項式近似のもとで潜在変数を周辺化することで、周辺尤度の閉形式表現を導出する。
• ベルヌーイ、ポアソン、ネガティブバイノミアルの3つの観測モデルに適用し、それぞれ異なる神経スパイク分散特性を捉える。
• 数値最適化を用いて近似された周辺尤度を直接最大化することで、確率的勾配推定やサンプリング分散を回避する。
• PAL で得られたハイパーパrameterを BBVI の初期化に用い、収束性と精度を向上させる。
• マウス視覚皮質および霊長類 parietal cortex からの実際の神経データを用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非共役対数尤度の多項式近似は、スパイクカウントデータを用いた GPFA モデルにおいて、高速かつ閉形式の周辺尤度評価を可能にするか？
• RQ2 シミュレーテッドおよび実際の神経データにおいて、PAL の収束速度、精度、安定性は BBVI や vLGP と比べてどうか？
• RQ3 PAL は BBVI のための有効な初期化を提供できるか？収束性の向上とハイパーパrameter推定の分散低減に寄与するか？
• RQ4 ベルヌーイ、ポアソン、ネガティブバイノミアルのうち、どのカウントモデルが実際の神経データに最も適しているか？また、PAL は各モデルで真の潜在構造を正確に回復できるか？
• RQ5 PAL で推定されたモデルが回復する潜在構造は、意思決定タスクにおける選択の符号化を反映する生物学的に意味のある神経動態を示しているか？

主な発見

• PAL は、シミュレーテッドおよび実際の神経データにおいて、BBVI や vLGP と同等またはそれ以上の性能を示し、著しく高速な収束時間を達成した。
• PAL は、学習率やモンテカルロサンプル数のチューニングを必要としない、閉形式の周辺尤度を提供する。
• ベルヌーイおよびネガティブバイノミアル GPFA モデルにおいて、PAL の性能は BBVI と同等であり、マウス視覚皮質データでは PAL がより高い交差検証対数尤度を示した。
• 霊長類 parietal cortex データでは、PAL 初期化付き BBVI が BBVI 単体よりも優れた性能を示し、特にネガティブバイノミアルモデルで顕著であった。これは、安定性と精度の向上を示している。
• マウスデータではベルヌーイ-GPFA モデルが最も高い交差検証対数尤度を達成しており、これは一部の神経集団に特に有効であるが、あまり利用されていない可能性を示唆している。
• ベルヌーイ-GPFA で回復された潜在構造には、試行開始後約 400ms に分離する次元が存在し、意思決定の符号化と一致していた。これは、選択変数の符号化の可能性を示唆している。