[論文レビュー] Deep Random Splines for Point Process Intensity Estimation of Neural Population Data

Gabriel Loaiza-Ganem, Sean M. Perkins+3 more|arXiv (Cornell University)|Mar 6, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用数 4

ひとこと要約

本論文は、ニューラルネットワークを用いてスプラインをパrameter化する深層生成モデルであるDeep Random Splines（DRS）を紹介する。これにより、点過程データのための柔軟で非負かつ滑らかな強度関数が可能になる。変分オートエンコーダに新たな再帰的エンコーダを組み合わせて応用した結果、GPFA、PfLDS、PP-GPFAと比較して、顕著に低次元の潜在表現でも次元削減および試行分類精度が優れている。

ABSTRACT

Gaussian processes are the leading class of distributions on random functions, but they suffer from well known issues including difficulty scaling and inflexibility with respect to certain shape constraints (such as nonnegativity). Here we propose Deep Random Splines, a flexible class of random functions obtained by transforming Gaussian noise through a deep neural network whose output are the parameters of a spline. Unlike Gaussian processes, Deep Random Splines allow us to readily enforce shape constraints while inheriting the richness and tractability of deep generative models. We also present an observational model for point process data which uses Deep Random Splines to model the intensity function of each point process and apply it to neural population data to obtain a low-dimensional representation of spiking activity. Inference is performed via a variational autoencoder that uses a novel recurrent encoder architecture that can handle multiple point processes as input. We use a newly collected dataset where a primate completes a pedaling task, and observe better dimensionality reduction with our model than with competing alternatives.

研究の動機と目的

• ガウス過程のランダム関数モデルにおける限界、特にスケーラビリティの低さと非負性などの形状制約の適用の難しさを解決すること。
• 神経集団データにおける点過程強度をモデリングするための、柔軟でスケーラブルかつ形状制約を満たすガウス過程の代替手法を開発すること。
• Deep Random Splinesを活用した変分オートエンコーダにより、神経放電活動の低次元表現を可能とすること。
• 真正に連続的でバインニングを行わない点過程を入力として処理できる、新たな再帰的エンコーダアーキテクチャの設計。
• シミュレーテッドおよび実際の神経データセットにおいて、次元削減および試行分類の両面で優れた性能を示すこと。

提案手法

• Deep Random Splines（DRS）は、標準正規ノイズを深層ニューラルネットワークに通し、その出力がスプラインのパrameterを生成することで得られる。これにより、複雑で柔軟なランダム関数が生成可能となる。
• スプラインの非負性は、凸集合の交差としてのパrameter化により強制され、トレーニング中にこの実行可能集合への射影に交互射影法が用いられる。
• この交互射影ステップは微分可能であり、エンド・ツー・エンドのバックプロパゲーションとDRSパrameterの最適化を可能にする。
• 推論には変分オートエンコーダが用いられ、バインニングを行わず複数の連続的点過程を処理できる新たな再帰的エンコーダが搭載されている。
• 観測モデルは、DRSによって強度関数がモデル化されたポアソン過程を仮定しており、非負で滑らかで制約付きの強度推定が可能となる。
• 推論は、スパイクトレインを潜在変数にマップする認識モデル（エンコーダ）と、DRSによる強度関数の再構成を行うデコーダを用いた変分推論により実施される。

実験結果

リサーチクエスチョン

• RQ1 非負性などの形状制約を満たしつつ、柔軟で高機能なランダム関数を生成できる深層生成モデルを設計できるか？
• RQ2 Deep Random Splinesは、低次元の表現を用いても、ガウス過程や既存の点過程モデルを上回る性能を示せるか？
• RQ3 新たな再帰的エンコーダアーキテクチャを備えた変分オートエンコーダは、バインニングを行わず真正に連続的な点過程データを効果的に処理できるか？
• RQ4 強度関数への非負性と滑らかさの制約は、神経試行のより意味的で低次元の潜在表現をもたらすか？
• RQ5 ELBO、分類精度、および説明平方和の観点から、DRSベースのモデルはPP-GPFA や PfLDS といった最先端の代替手法に比べてどのように性能を発揮するか？

主な発見

• シミュレーテッドデータでは、DRS-VAEは、20倍の隠れ次元を持つPfLDSですら上回る高いELBOを達成しており、より良いモデル適合と一般化性能を示している。
• 実際の移動タスクデータセットでは、後方分布の平均値を用いた15近傍法による分類で23.7%の精度を達成し、ランダムな推測（2.5%）や他の競合モデルを大きく上回った。
• サイクリングデータセットでは、DRS-VAEは試行分類で72.5%の精度を達成し、ランダムな推測（12.5%）を大きく上回った。さらに、PfLDSに比べて28倍も小さな潜在表現を用いていたにもかかわらず、優れた性能を示した。
• テスト後方分布平均値の分散分析において、DRS-VAEは全平方和の58.3%を説明しており、PP-GPFA や PfLDS を上回り、意味的な試行構造を効果的に捉えている。
• サイクリングデータセットではPfLDSに比べてELBOが低かったが、DRS-VAEの潜在表現は顕著に優れた分類性能と変動説明を示しており、優れた表現品質を示している。
• ハイパーパrameterの変更に対しても、PfLDSの性能は時間ボーリングの増加によって向上せず、DRSは安定した性能を維持し、下流タスクでも優れた結果を達成した。