[論文レビュー] Scalable Bayesian Inference for Excitatory Point Process Networks

Scott W. Linderman, Ryan P. Adams|arXiv (Cornell University)|Jul 12, 2015

Point processes and geometric inequalities参考文献 3被引用数 29

ひとこと要約

本稿では、多変量ハーケス過程としてモデル化された興奮性ポイント過程ネットワークにおけるベイジアン推論のスケーラブルな確率的変分推論（SVI）アルゴリズムを提案する。離散時間形式を導入し、ネットワーク構造に共役事前分布を適用することで、長時間にわたる神経活動データにおいても効率的な推論が可能となり、MCMCおよびバッチ変分推論を上回る速度と予測性能を達成した。connectomicsデータセットにおいて実証された。

ABSTRACT

Networks capture our intuition about relationships in the world. They describe the friendships between Facebook users, interactions in financial markets, and synapses connecting neurons in the brain. These networks are richly structured with cliques of friends, sectors of stocks, and a smorgasbord of cell types that govern how neurons connect. Some networks, like social network friendships, can be directly observed, but in many cases we only have an indirect view of the network through the actions of its constituents and an understanding of how the network mediates that activity. In this work, we focus on the problem of latent network discovery in the case where the observable activity takes the form of a mutually-excitatory point process known as a Hawkes process. We build on previous work that has taken a Bayesian approach to this problem, specifying prior distributions over the latent network structure and a likelihood of observed activity given this network. We extend this work by proposing a discrete-time formulation and developing a computationally efficient stochastic variational inference (SVI) algorithm that allows us to scale the approach to long sequences of observations. We demonstrate our algorithm on the calcium imaging data used in the Chalearn neural connectomics challenge.

研究の動機と目的

• 神経発火やソーシャルメディア活動などのイベント系列を通じて間接的に観測される相互作用の、潜在的ネットワーク同定の課題に対処すること。
• 神経科学やファイナンス分野で一般的な長時間にわたる観測系列を扱えるスケーラブルな推論手法の開発。
• MCMCおよびバッチ変分推論の手法を凌駕するため、高速な収束を実現するためのミニバッチ処理を可能にする。
• ヒューリスティック法や点推定法では得られない、ネットワーク接続の補正された事後分布の不確実性推定を提供すること。
• Chalearnチャレンジの実データを用いて、カルシウム蛍光トレースからネットワーク構造を同定する手法の有効性を示すこと。

提案手法

• 高頻度イベントデータに対して特に計算効率を高めるために、多変量ハーケス過程の離散時間形式を導入した。
• 相互作用重みの構造的かつスパースなネットワーク事前分布を表現するため、スチュアティックブロックモデル（SBM）に基づく階層的事前分布を用いた。
• インパルス応答を正規化された基底関数の凸結合と仮定することで、モデルを完全に共役化し、変分推論フレームワークにおける解析的更新を可能にした。
• ミニバッチの時間点を処理する確率的変分推論（SVI）アルゴリズムを開発し、迅速かつスケーラブルな事後分布近似を実現した。
• 平均場変分推論を用い、ミニバッチごとの十分統計量を効率的に計算することで、1イテレーションあたりのコストを低減し、収束を加速した。
• 事後分布の不確実性は変分事後分布を用いて推定され、推定されたネットワーク接続の信頼区間を提供した。

実験結果

リサーチクエスチョン

• RQ1 ハーケス過程の離散時間形式は、長時間にわたるイベント系列に対して計算効率を向上させることができるか？
• RQ2 確率的変分推論（SVI）は、MCMC やバッチ変分推論と比較して、ポイント過程ネットワークにおけるベイジアンネットワーク同定をより効果的にスケーリングできるか？
• RQ3 提案手法は、クロス相関しきい値法などのヒューリスティックベースラインと比較して、実際のconnectomicsデータにおけるネットワーク回復精度を向上させることができるか？
• RQ4 ベイジアンフレームワークは、推定されたネットワーク接続の補正された事後分布の不確実性推定を提供でき、解釈性を向上させることができるか？
• RQ5 構造的事前分布（例：スチュアティックブロックモデル）の導入は、現実世界のスパースなシステムにおけるネットワーク同定をどのように向上させるか？

主な発見

• SVIアルゴリズムは、Chalearn connectomicsチャレンジのNetwork 6において、曲線下面積（PRC）が0.410という最高のリンク予測性能を達成し、MCMCおよびバッチ変分推論を上回った。
• Chalearnデータセットの5つのネットワークのうち4つにおいて、SVIを用いたベイジアンハーケスモデルは、ベースライン手法と同等または優れた性能を示し、クロス相関しきい値法よりも常に高いPRCスコアを達成した。
• アルゴリズムは顕著な速度優位性を示した。SVIの1イテレーションはギブス法やバッチVBよりもはるかに高速であり、ミニバッチデータのみを用いても、予測対数尤度が急速に向上した。
• SVIによる事後分布の不確実性推定は、うまく補正されており、高い信頼度（高い事後平均÷標準偏差）を持つ予測は、真の接続である確率が高くなる傾向にあった（図4(c)参照）。
• 離散時間形式により、高頻度データ（例：50Hzのカルシウム蛍光トレースで10分間のデータは300万時間区分に相当）に対しても効率的な計算が可能となり、大規模な推論が現実可能になった。
• OOPSIによる事前処理を経たカルシウムイメージングデータから、ネットワーク構造を効果的に回復した。実神経科学応用における実用的価値を示した。