[論文レビュー] Fast Bayesian Intensity Estimation for the Permanental Process

Christian Walder, Adrian N. Bishop|arXiv (Cornell University)|Jan 13, 2017

Gaussian Processes and Bayesian Inference被引用数 11

ひとこと要約

本稿では、強度の平方根にガウス過程事前分布を置いたコックス過程であるパーマネンタル過程に対する高速なベイズ推論手法を提案する。再生核ヒルベルト空間理論とラプラス近似を活用することで、従来手法に比べて数個のオーダー速く計算が可能でありながら、同等の予測精度を維持する。これにより、誘導点に基づく手法の代替として、より単純かつ効率的な手法が得られる。

ABSTRACT

The Cox process is a stochastic process which generalises the Poisson process by letting the underlying intensity function itself be a stochastic process. In this paper we present a fast Bayesian inference scheme for the permanental process, a Cox process under which the square root of the intensity is a Gaussian process. In particular we exploit connections with reproducing kernel Hilbert spaces, to derive efficient approximate Bayesian inference algorithms based on the Laplace approximation to the predictive distribution and marginal likelihood. We obtain a simple algorithm which we apply to toy and real-world problems, obtaining orders of magnitude speed improvements over previous work.

研究の動機と目的

• パーマネンタル過程（GP分布を強度の平方根に置いたコックス過程）に対する計算効率の良いベイズ推論スキームの開発。
• MCMC や誘導点に依存する既存手法の計算負荷を克服すること。
• Flaxmanら（2017）が提案した正則化最大尤度推定法の確率的一般化を提供すること。
• 提案手法が最先端の手法と同等の予測性能を達成するが、著しく高速な適合時間を持つことを示すこと。

提案手法

• 後方予測分布およびマージナル尤度に対するラプラス近似を用いて、効率的なベイズ推論を実現する。
• 誘導点を必要としない後方分布の閉形式近似を導出するために、再生核ヒルベルト空間（RKHS）理論を活用する。
• GP事前分布と強度関数を結びつけるための二乗リンク関数 g(z) = ½z² に基づく正則化最大尤度推定器を適用する。
• レプresenter定理を用いて、L²ノルムとRKHSノルムを両方含む RKHS H(k, Ω, µ) におけるマージナル尤度および予測分布を導出する。
• カーネルのメルツァー展開を用いて、正則化カーネル ˜k(x, y) = Σ (1 / (1 + λᵢ⁻¹)) φᵢ(x)φᵢ(y) を表現し、計算を効率化する。
• タイプ-II最大尤度を用いた実験的ベイズにより、共変動関数内のハイパーパrameter a と b をチューニングする。

実験結果

リサーチクエスチョン

• RQ1 誘導点やMCMCに依存せずに、パーマネンタル過程に対する高速かつスケーラブルなベイズ推論手法を開発可能か？
• RQ2 RKHSフレームワークにおける提案されたラプラス近似は、既存の変分法および正則化手法と比較して、速度と精度の面でどのように差をつけるか？
• RQ3 マージナル尤度における正則化項 V(k, Ω, µ) は、データ適合とモデルの複雑さのバランスをどのように果たすか？
• RQ4 本手法は、合成データおよび実世界の点過程データにおいて、先行手法に比べて著しく高速である一方で、競争力のある予測性能を達成できるか？

主な発見

• 提案手法 LBPP-G は、VBPP や KS+EC に比べて数個のオーダーの高速な適合時間を達成し、トゥイと実世界のデータセットにおいて同等の予測性能を示した。
• レッドウッドデータセットでは、LBPP-Cos が LBPP-G よりも期待テスト対数尤度でわずかに優れており、コサイン基底関数の利点が示唆された。
• 本手法は、石炭鉱山事故、レッドウッドの木の配置、筋線維内のキャヴォーラなどのすべてのデータセットで一貫した予測精度を示した。
• 対数マージナル尤度の分解から、正則化項 V(k, Ω, µ) がデータ項 h とバランスを取ることで過学習を効果的に防止していることが明らかになった。
• 実データにおいて、タイプ-II最大尤度を用いた実験的ベイズによるハイパーパrameterチューニング（a, b）は、安定的かつ適切にキャリブレーションされた結果をもたらした。
• 本手法の単純さと誘導点の不在により、誘導変数に基づく変分的手法に比べて、実装および保守がより容易であることが示された。