[論文レビュー] Efficient Bayesian Nonparametric Modelling of Structured Point Processes

Tom Gunter, Chris Lloyd+2 more|arXiv (Cornell University)|Jul 25, 2014

Gaussian Processes and Bayesian Inference参考文献 11被引用数 12

ひとこと要約

本稿では、構造的強度関数を捉えるために、カーネルで畳み込みを行う潜在ガウス過程を用いた、従属 Cox 点過程のベイジアン非パラメトリックモデルを提案する。スケーラブルな推論を可能にするために、適応的スプライシング（adaptive thinning）を導入し、複数のプロセスにわたる効率的かつ並列化された計算を実現。1次元および2次元の実世界データ（Twitterの活動やバスケットボールのシュート位置）において、優れた予測性能を達成した。

ABSTRACT

This paper presents a Bayesian generative model for dependent Cox point processes, alongside an efficient inference scheme which scales as if the point processes were modelled independently. We can handle missing data naturally, infer latent structure, and cope with large numbers of observed processes. A further novel contribution enables the model to work effectively in higher dimensional spaces. Using this method, we achieve vastly improved predictive performance on both 2D and 1D real data, validating our structured approach.

研究の動機と目的

• 複数の関連するプロセスにまたがる複雑な強度構造を捉える、完全に生成的で非パラメトリックなベイジアンモデルを構築すること。
• 従来のMCMC手法の計算的ボトル neck を克服し、多数の従属点過程にわたるスケーラブルな推論を可能にすること。
• 統一された確率的枠組み内で、欠損データや潜在構造を自然に取り扱うこと。
• 標準的なスプライシング手法が計算的に非現実的になる高次元点過程データへの適用を拡張すること。
• 共有された潜在関数を通じてプロセス間の依存関係をモデル化することで、予測精度を向上させること。

提案手法

• 強度関数を、潜在ガウス過程とカーネルの畳み込みの重み付き和としてモデル化し、複雑な強度パターンの柔軟で非パラメトリックな表現を可能にする。
• 非負の強度関数を保証するため、潜在ガウス過程のシグモイド変換を用い、Sigmoidal Gaussian Cox Process (SGCP) 前提を構築する。
• 「適応的スプライシング」を導入——一様化の新規拡張であり、複数のレートレベルを用いて、高次元空間における点過程の効率的シミュレーションと推論を実現する。
• MCMCによる後験的推論を容易にするため、スプライシングされたイベント位置を含むデータ拡張スキームを採用し、扱いにくい積分を回避する。
• 共有されたカーネル構造を通じて依存関係を維持しつつ、潜在関数の計算を分離することで、複数の従属プロセスにわたる並列推論を可能にする。
• 非パラメトリックベイジアンアプローチを用いて、強度関数と潜在ドライバーを同時に推論し、不確実性の評価と欠損データへの耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 複数の従属点過程を、共有される潜在構造を捉える非パラメトリックベイジアン枠組みでどのようにモデル化できるか？
• RQ2 多数の従属点過程にわたるスケーラブルで並列化された計算を可能にする推論スキームは何か？ その際、精度を損なわずに行えるか？
• RQ3 標準的なスプライシング手法を、高次元点過程データに実用的であるようにどのように拡張できるか？
• RQ4 プロセス間の依存関係をモデル化することで、独立したモデリングと比較して、予測性能がどの程度向上するか？
• RQ5 提案手法は、実世界のイベントデータにおいて、既知の潜在ドライバー（例：日次サイクル、イベント固有のピーク）を効果的に回復できるか？

主な発見

• Twitterデータにおいて、提案された構造的モデルは、独立したSGCPおよびKDEベースラインと比較して、予測対数尤度で顕著に優れており、平均して200～300ポイントの向上を達成した。
• バスケットボールシュートデータでは、DeMer DeRozenの予測対数尤度が410.7に達し、次に優れた手法と比較して150ポイント以上も高い結果を示し、高密度・高次元データにおいて優れた性能を発揮した。
• 適応的スプライシングにより、標準的なスプライシングでは計算的に非現実的だった高密度のバスケットボールシュートデータに対しても、効率的な推論が可能になった。
• 潜在関数から、Twitterデータにおける日次活動サイクルやバスケットボールデータにおけるコート固有のホットスポットといった解釈可能なパターンが明らかになり、既知の行動的・空間的事前知識と整合した。
• Twitterデータにおいて、ニールソン・マンデラの死や公的部門のストライキなど、外部要因に起因するイベント固有のピークを効果的に捉えた。
• 推論スキームは、プロセス数の増加に伴い効率的にスケーリングされ、独立したモデリングを模倣する並列計算を可能にしながら、プロセス間の依存関係を維持した。