[論文レビュー] Large-Scale Cox Process Inference using Variational Fourier Features

St. John, James Hensman|arXiv (Cornell University)|Apr 3, 2018

Gaussian Processes and Bayesian Inference参考文献 18被引用数 5

ひとこと要約

本稿では、変分フーリエ特徴量（VFF）を用いて大規模な時空間 Cox プロセスのスケーラブルなベイズ推論手法を提案する。これにより、100,000件を超えるイベントを3次元でグリッドフリーかつ効率的にモデリング可能となる。VFFと平方根リンク関数、Matérn カーネルを組み合わせることで、単一の GPU 上でロバストで高解像度の推論を実現し、従来手法のノードラインや計算スケーラビリティの制限を克服する。

ABSTRACT

Gaussian process modulated Poisson processes provide a flexible framework for modelling spatiotemporal point patterns. So far this had been restricted to one dimension, binning to a pre-determined grid, or small data sets of up to a few thousand data points. Here we introduce Cox process inference based on Fourier features. This sparse representation induces global rather than local constraints on the function space and is computationally efficient. This allows us to formulate a grid-free approximation that scales well with the number of data points and the size of the domain. We demonstrate that this allows MCMC approximations to the non-Gaussian posterior. We also find that, in practice, Fourier features have more consistent optimization behavior than previous approaches. Our approximate Bayesian method can fit over 100,000 events with complex spatiotemporal patterns in three dimensions on a single GPU.

研究の動機と目的

• グリッドベースや小規模データに限界を持つ従来手法を超えて、大規模な時空間点過程のスケーラブルでグリッドフリーなベイズ推論を可能にすること。
• ガウス過程で強調されたポisson過程における二重に不確実な尤度の計算不能性に対処すること。
• 平方根リンク関数に起因するノードラインアーチファクトを、より良い事前分布の指定とモデル設計により軽減すること。
• フーリエ特徴量を用いて、時空間ドメインにおける Matérn カーネル族と周期的構造の変分推論を拡張すること。
• ポルトのタクシー乗車データ（113,000件を超えるイベント）を含む、複雑な3次元パターンを示す実世界データへの適用を示すこと。

提案手法

• 潜在ガウス過程を表現するためのフーリエ特徴量（VFF）を用いた変分推論フレームワークを提案し、関数空間のグローバルかつスパースな近似を可能にする。
• 尤度における不確実な積分を扱えるようにするため、λ(·) = f(·)² の平方根リンク関数を採用し、グリッド離散化の必要を回避する。
• f(·) がゼロを crosses する際に生じるノードラインアーチファクトを軽減するため、定数平均関数を導入し、事後分布の安定性を向上させる。
• ガウス型変分推論のもとで、事後率 λ(·) の閉形式近似を導出し、信頼区間による不確実性の定量化を可能にする。
• VFFとシームレスに統合可能な、Matérn-5/2 スペクトルに基づく周期的カーネルを構築し、時間帯の周期性をモデリング可能にする。
• 変分推論と MCMC の両方を用いて事後分布を近似し、ハイパーパramータの完全なベイズ的取り扱いや柔軟な事後探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分フーリエ特徴量は、複雑なパターンを示す大規模な時空間 Cox プロセスのスケーラブルでグリッドフリーな推論を可能にするか？
• RQ2 平方根リンク関数に起因するノードライン（アーチファクト）は、事後分布でどのように軽減可能か？
• RQ3 Matérn カーネル族とその組み合わせは、VFFに基づく推論フレームワークに効果的に統合可能か？
• RQ4 最適化手法と初期化の選択は、高次元かつ非ガウス的な事後分布における収束性とモデル品質にどのように影響するか？
• RQ5 本手法は、3次元で100,000件を超えるイベントを持つ実世界データに対して、正確で不確実性を伴う推論を達成できるか？

主な発見

• 本手法は、複雑な3次元時空間パターンを示すポルトのタクシー乗車イベント（113,000件以上）を、単一の Tesla P100 GPU で24～28時間で収束させることに成功した。
• VFFに基づく推論は、RBF + インダクションポイント（RBF+IP）と比較して、1ステップあたりの最適化が30～40倍高速であり、50×50 VFFでは50時間未満で収束したのに対し、RBF+IPでは収束せず48時間で停止した。
• 定数平均関数の導入により、ノードラインアーチファクトが顕著に減少し、モデルの安定性が向上し、最適化失敗も減少した。
• より高い ELBO 値を示すモデルが必ずしも優れた尤度を示すとは限らず、ELBO だけではモデル品質の良い代理指標とはならないことが示され、交差検証に基づく手動選択が不可欠であることがわかった。
• 時間帯の周期性を保証するための周期的カーネルの使用により、00:00 と 24:00 の間で連続性が確保されたが、これなしでは達成できなかった（補足結果より確認）。
• 本手法は、MCMC を用いた完全なベイズ推論と、閉形式による信頼区間によるレート関数 λ(·) の不確実性定量化を、大規模スケールでも可能にした。