[論文レビュー] Optimality of Poisson processes intensity learning with Gaussian processes

Alisa Kirichenko, Harry van Zanten|arXiv (Cornell University)|Sep 17, 2014

Gaussian Processes and Bayesian Inference参考文献 16被引用数 12

ひとこと要約

本稿は、非定常ポアソン過程の強度を学習するためのガウス過程を用いたSigmoidal Gaussian Cox Process (SGCP) の理論的最適性を確立する。適切に調整されたハイパーパrior分布を用いることで、任意の正則性レベル β > 0 において、対数要因を除き最小最大最適な収縮レートを達成することが証明される。これにより、真の強度関数の未知の正則性に自動的に適応可能となる。

ABSTRACT

In this paper we provide theoretical support for the so-called "Sigmoidal Gaussian Cox Process" approach to learning the intensity of an inhomogeneous Poisson process on a $d$-dimensional domain. This method was proposed by Adams, Murray and MacKay (ICML, 2009), who developed a tractable computational approach and showed in simulation and real data experiments that it can work quite satisfactorily. The results presented in the present paper provide theoretical underpinning of the method. In particular, we show how to tune the priors on the hyper parameters of the model in order for the procedure to automatically adapt to the degree of smoothness of the unknown intensity and to achieve optimal convergence rates.

研究の動機と目的

• アダムスら（2009年）が提案したSigmoidal Gaussian Cox Process (SGCP) 法が、非パラメトリックベイズ的強度推定において非定常ポアソン過程に適用可能である理論的裏付けを提供すること。
• 真の強度関数の未知の正則性 β にかかわらず、SGCPアプローチが最小最大フレームワーク下で最適な事後収縮レートを達成することを確立すること。
• SGCPモデルにおける長さスケールおよび乗法的定数のハイパーパriorをどのように調整すれば、すべての β > 0 に対してレート適応性能が保証されるかを特定すること。
• 有限次元近似を一切用いない完全に非パラメトリックかつ計算的に実行可能な手法を用いた点過程に対する非パラメトリックベイズ推論の理論的理解を拡張すること。

提案手法

• 本手法は、強度がガウス過程（GP）のシグモイド変換としてモデル化される階層ベイズモデルを採用する。GPの共分散構造は長さスケールのハイパーパrameterに依存する。
• ランダムな乗法的定数を導入し、長さスケールと乗法的定数の両方に独立なハイパーパriorを割り当てることで、真の強度関数の未知の正則性 β に自動的に適応できるようにする。
• 理論的分析は、ヴァン・デル・ヴァートとヴァン・ザントン（2008a, 2009）が開発したガウスおよび条件付きガウス事前分布の事後収縮レートのフレームワークに依拠する。
• 非標準的な事前分布構成（GPの確率的スケーリングとシグモイドリンク関数の導入）を伴い、1次元ポアソン過程におけるベルツェル他（2013）の結果の拡張版を必要とする。
• 主な技術的ツールとして、真の強度関数の近傍から事後分布質量が逸脱する確率の上界を、濃度不等式およびGPとハイパーパrior分布の尾部バウンドを用いて導出する。
• 証明により、ハイパーパriorが適切に調整されている限り、事後分布は真の強度関数の周囲で最小最大レート n^{-β/(d+2β)} に収縮することが示される（対数要因を除く）。

実験結果

リサーチクエスチョン

• RQ1 Sigmoidal Gaussian Cox Process (SGCP) は、任意の正則性レベル β > 0 において、非定常ポアソン過程の強度推定に対して最適な事後収縮レートを達成できるか？
• RQ2 長さスケールおよび乗法的定数のハイパーパriorをどのように調整すれば、SGCP手法が未知の正則性 β に自動的に適応できるか？
• RQ3 β が未知であっても、SGCP手法は最小最大最適レート n^{-β/(d+2eta)} を達成するか？
• RQ4 どのような事前分布の理論的条件が、事後分布質量が真の強度関数の周囲に最適なレートで集中することを保証するか？

主な発見

• ハイパーパriorが適切に調整されている限り、SGCP手法は任意の β > 0 に対して、対数要因を除き最小最大レート n^{-β/(d+2β)} で事後収縮を達成する。
• 最適な調整は、GPと乗法的定数のハイパーパriorのスケールパラメータをそれぞれ n^{1/(2β+d)} および n^{d/(2(2β+d))} の割合で減少させることに相当する。
• 本手法は完全にレート適応的である。真の強度関数の未知の正則性 β に依存せずに、モデル構築段階で β を事前に知る必要がない。
• 収縮レートは最小最大意味で最適であり、β-滑らかさを持つ強度関数に対して、あらゆる手続きが達成可能な最良のレートと一致する。
• 理論的分析により、β が未知であっても、真の強度の正則性に適応することで過学習および過小適合を回避できることを確認した。
• GPの共分散（例：平方指数）およびシグモイドリンク関数に対してはやや柔軟な事前分布選択が可能であり、やや緩い条件下でも結果が成立する。