[論文レビュー] Scalable Nonparametric Bayesian Inference on Point Processes with Gaussian Processes

Yves-Laurent Kom Samo, Stephen Roberts|arXiv (Cornell University)|Oct 24, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用数 24

ひとこと要約

本稿では、グリッド化や潜在的スプライシングを回避するガウス過程を用いたポアソン点過程におけるスケーラブルな非パラメトリックベイズ推論手法を提案する。誘導点をグリッド利用の最適化により選択することで、O(nk²)（k ≪ n）の複雑さを達成し、従来のO(n³)手法と比較してより高速かつ高精度な推論が可能となり、MCMCの相関も低減される。合成データおよび実データ（大規模データセットを含む）において、従来では処理が不可能だった大規模な点過程データに対しても有効である。

ABSTRACT

In this paper we propose the first non-parametric Bayesian model using Gaussian Processes to make inference on Poisson Point Processes without resorting to gridding the domain or to introducing latent thinning points. Unlike competing models that scale cubically and have a squared memory requirement in the number of data points, our model has a linear complexity and memory requirement. We propose an MCMC sampler and show that our model is faster, more accurate and generates less correlated samples than competing models on both synthetic and real-life data. Finally, we show that our model easily handles data sizes not considered thus far by alternate approaches.

研究の動機と目的

• データサイズに比例して立方的に増加する既存の非パラメトリックベイズ手法の計算的非実行性に対処すること。
• ドメインのグリッド化や潜在的スプライシング点に依存しないこと。これらは近似バイアスと計算コストを引き起こす。
• 完全なベイズ的取り扱いを維持しながら、O(nk²)の複雑さ（k ≪ n）にまで複雑さを低減した、スケーラブルな正確なMCMC推論フレームワークを開発すること。
• 従来の手法では不可能だった大規模な点過程データ（高次元またはスパースなデータを含む）の推論を可能にすること。
• 最適な誘導点選択により、MCMCサンプリングの効率を向上させ、相関を低減し収束を加速すること。

提案手法

• 強度関数をガウス過程の正の変換としてモデル化する非パラメトリックベイズモデルを提案し、ほとんど確実に滑らかで正の強度経路を保証する。
• 事後分布共分散行列のトレースを最大化する新しい利得関数を導入し、各点あたりの情報量の増加を最適化する。
• データからk個の誘導点を段階的に選択するグリッドアルゴリズムを設計し、α → 0のとき理論的最大利得w∞ = (1/N)ΣTr(Σᴰᴰ*(θᵢ))に収束することが証明された。
• 条件付きガウス過程の性質を活用し、データと選択された誘導点のみを用いて強度関数の事後分布を更新する、実行可能なMCMCサンプラーを導出する。
• Choleskyに基づく更新を用いる条件付きガウス過程フレームワークを設計し、数値的安定性を確保するとともに、1回の更新あたりO(k²)の複雑さを達成する。
• 強度関数の全結合分布 (λ(s₁), ..., λ(sₙ), ∫λ(s)ds) を維持することで、完全な尤度を決定する。これにより、近似を避けて正確な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 データポイント数に対して立方より低い複雑さで、ポアソン点過程における正確な非パラメトリックベイズ推論が可能か？
• RQ2 グリッド化や潜在的スプライシング点の必要性を排除しながら、正確な推論とスケーラビリティを維持できるか？
• RQ3 事後共分散行列のトレースに基づくグリッド誘導点選択は、既存手法と比較して収束を速め、MCMCの相関を低減するか？
• RQ4 提案手法は、従来のO(n³)手法では処理が不可能な、非常に大きなデータセット（特に高次元またはスパースな場合）にスケーラブルか？
• RQ5 利得に基づく誘導点選択戦略は理論的最大情報量に収束するか？その収束速度はどの程度か？

主な発見

• 提案手法はk ≪ nの下でO(nk²)の計算複雑さを達成し、O(n³)の代替手法と比較して時間的・メモリ的コストを顕著に削減する。
• MCMCサンプラーは競合手法と比較して著しく低い自己相関を示し、有効サンプルサイズを増やし、収束速度を向上させる。
• 合成データおよび実世界のデータの両方において、強度関数の推定精度が高く、周辺尤度の近似も優れている。
• 従来の手法では処理が不可能だった高次元やスパースな点過程データに対しても、モデルが効果的に対処できる。
• グリッド誘導点選択アルゴリズムは、理論的最大利得w∞に線形収束率1 − 1/nで収束し、迅速な情報量の獲得を実現する。
• α → 0のときの利得関数の極限が(1/N)ΣTr(Σᴰᴰ*(θᵢ))に等しいことが証明され、情報量の増加における漸近的最適性が裏付けられた。