[論文レビュー] Variational Inference for Gaussian Process Modulated Poisson Processes

Chris Lloyd, Tom Gunter+2 more|arXiv (Cornell University)|Nov 2, 2014

Gaussian Processes and Bayesian Inference参考文献 21被引用数 70

ひとこと要約

本稿では、ドメインの離散化を回避し、O(N)の計算スケーリングを達成し、連続的な空間時系列点過程データに対して高速かつ正確な推論を可能にする、ガウス過程で制御されるポアソン過程における完全な変分ベイズ推論手法を提案する。提案された変分ベイズ点過程（VBPP）フレームワークは、合成データ、石炭鉱山事故、ケニアにおけるマラリア発生率の全データセットにおいて、サンプリングベースの手法やカーネルスムージング手法を上回る予測精度と実行時間の両面で優れた性能を発揮する。

ABSTRACT

We present the first fully variational Bayesian inference scheme for continuous Gaussian-process-modulated Poisson processes. Such point processes are used in a variety of domains, including neuroscience, geo-statistics and astronomy, but their use is hindered by the computational cost of existing inference schemes. Our scheme: requires no discretisation of the domain; scales linearly in the number of observed events; and is many orders of magnitude faster than previous sampling based approaches. The resulting algorithm is shown to outperform standard methods on synthetic examples, coal mining disaster data and in the prediction of Malaria incidences in Kenya.

研究の動機と目的

• 二重に不確実な事後分布に起因する連続ドメインにおけるガウス過程で制御されるポアソン過程におけるベイズ推論の計算的非実行可能性に対処する。
• 標準的なガウス過程推論のO(N³)スケーリングと、離散化アプローチにおけるビン分割への感受性を克服する。
• 観測イベント数に線形にスケーリングする、ドメインの離散化を回避する完全な変分ベイズフレームワークを構築する。
• 連続的な共変量（例：降雨量）を併用した点過程の統合的モデリングを、完全に生成的でスケーラブルなベイズフレームワークで可能にする。
• 災害記録や疾病発生データを含む実世界のデータセットにおいて、予測性能と効率性の両面で優れた性能を示す。

提案手法

• 強度がシグモイド関数やスケアリング関数を介して変換されたガウス過程としてモデル化される非定常ポアソン過程に対する変分推論スキームを提案する。
• 潜在的スプライシングを必要としない、スケアリング関数を用いた非ガウス型尤度モデルを導入し、これにより従来のシグモイドガウス Cox プロセスとは異なり、より柔軟なモデリングが可能になる。
• 完全なGPを近似するために誘導点を採用し、潜在関数の評価回数を削減することでO(N)スケーリングを実現する。
• 不確実な事後分布をガウス近似を用いて近似する変分下界（ELBO）を導出する。
• 誘導点の位置を含む変分パラメータを最適化することで、近似のきつさと予測性能を向上させる。
• 計算効率を維持しながら、強度関数における不確実性を捉える構造化された変分近似を採用する。

実験結果

リサーチクエスチョン

• RQ1 ドメインの離散化を要せず、連続ドメインにおけるガウス過程で制御されるポアソン過程に対して完全な変分ベイズ推論スキームを開発できるか？
• RQ2 提案手法が観測イベント数に比例する線形O(N)スケーリングを達成し、O(N³)のサンプリングベースの手法を著しく上回るか？
• RQ3 実世界のデータセットにおいて、VBPPフレームワークの予測対数尤度と実行時間は、カーネルスムージング法やSGCPと比較してどの程度優れているか？
• RQ4 ビニングを伴わずに、高次元の空間時系列ドメインにおける複雑でポアソン的でない強度関数を効果的にモデリングできるか？
• RQ5 このフレームワークは、多出力ガウス過程フレームワークを用いて、連続的共変量と点過程を同時にモデリングするのにどの程度拡張可能か？

主な発見

• VBPPはO(N)の計算スケーリングを達成し、石炭鉱山事故データセットでは417.6秒を要するSGCP手法と比較して0.7秒で実行される。
• Twitterデータにおいて、最適化された誘導点を用いたVBPPは、10個の誘導点ですらカーネルスムージング法やSGCPを上回る予測対数尤度を達成する。
• ケニアにおける2次元のマラリア発生率データでは、VBPPがテスト対数尤度869.7を達成し、カーネルスムージング法（867.2）やSGCPを上回る。
• 最適化された誘導点を用いる場合、誘導点数が少ないほど変分下界（L₀）とLp下界がタイトになることが示され、不確実性の評価が向上している。
• 合成データ、災害記録、疾病発生データを含む全ベンチマークデータセットにおいて、ホールドアウトデータに対する予測精度が標準的手法を上回る。
• 本手法により、実数値の共変量（例：降雨量）と点過程の同時推論が可能となり、疫学および環境科学分野における完全な生成的モデリングの新たな道筋が開かれる。