[論文レビュー] Laplace approximation for logistic Gaussian process density estimation

Jaakko Riihimäki, Aki Vehtari|arXiv (Cornell University)|Nov 1, 2012

Gaussian Processes and Bayesian Inference被引用数 2

ひとこと要約

本稿では、1次元および2次元グリッド上で高速かつ正確な密度推定を可能にする、ロジスティック・ガウス過程（LGP）密度推定におけるベイズ推論のためのラプラス近似手法を提案する。ラプラス法とタイプ-II MAP推定による共分散パラメータの推定、および2次元グリッドにおける低ランク近似を組み合わせることで、MCMCや最先端の混合モデルに匹敵する性能を達成し、インタラクティブな可視化を可能にする。

ABSTRACT

Logistic Gaussian process (LGP) priors provide a flexible alternative for modelling unknown densities. The smoothness properties of the density estimates can be controlled through the prior covariance structure of the LGP, but the challenge is the analytically intractable inference. In this paper, we present approximate Bayesian inference for LGP density estimation in a grid using Laplace's method to integrate over the non-Gaussian posterior distribution of latent function values and to determine the covariance function parameters with type-II maximum a posteriori (MAP) estimation. We demonstrate that Laplace's method with MAP is sufficiently fast for practical interactive visualisation of 1D and 2D densities. Our experiments with simulated and real 1D data sets show that the estimation accuracy is close to a Markov chain Monte Carlo approximation and state-of-the-art hierarchical infinite Gaussian mixture models. We also construct a reduced-rank approximation to speed up the computations for dense 2D grids, and demonstrate density regression with the proposed Laplace approach.

研究の動機と目的

• 非ガウス的後方分布による、ロジスティック・ガウス過程（LGP）密度推定における非可解な推論問題に対処すること。
• 効率的な近似ベイズ推論を用いて、1次元および2次元の密度推定の実用的でリアルタイムの可視化を可能にすること。
• LGPモデルにおける柔軟な事前分布共分散構造を用いて、密度推定の滑らかさを制御すること。
• 高密度な2次元グリッドにおける計算を高速化するための低ランク近似を開発すること。

提案手法

• LGPモデルにおける潜在関数値の非可解な後方分布を近似するために、ラプラスの方法を適用する。
• 共分散関数のハイパーパrameterを学習するために、タイプ-II最大事後確率（MAP）推定を用いる。
• 高密度な2次元グリッドにおける計算を高速化するために、共分散行列の低ランク近似を構築する。
• ラプラス近似を密度回帰と統合することで、柔軟な非パrametric密度推定を可能にする。
• 未知の密度関数をグリッドベースの離散化で表現し、潜在的な対数密度値にLGP事前分布を適用する。
• ラプラス近似の効率性を活かして、推定された密度のインタラクティブな可視化を支援する。

実験結果

リサーチクエスチョン

• RQ1 ラプラス近似は、MCMCに匹敵する精度を保ちつつ、LGP密度推定において計算的に効率的な代替手段として機能するか？
• RQ2 MAPハイパーパrameter推定を用いたラプラス近似は、最先端の階層的無限ガウス混合モデルと比較して、どの程度優れた性能を示すか？
• RQ3 低ランク近似は、高密度な2次元グリッドにおける推論をどの程度高速化しつつ、精度を維持できるか？
• RQ4 提案手法は、実際の応用において1次元および2次元の密度推定のインタラクティブな可視化をサポートできるか？

主な発見

• MAP推定を用いたラプラス近似は、シミュレートされたおよび実際の1次元データセットにおいて、マルコフ連鎖モンテカルロ（MCMC）手法と同等の推定精度を達成する。
• 本手法は、密度推定タスクにおいて、最先端の階層的無限ガウス混合モデルと競合する性能を示す。
• 低ランク近似は、高密度な2次元グリッドにおける計算を顕著に高速化しつつ、推定品質を保持する。
• 計算の効率性のおかげで、本手法は1次元および2次元の密度推定の実用的でリアルタイムのインタラクティブ可視化を可能にする。
• ラプラス近似された後方分布を用いた密度回帰が成功しており、非パrametric密度モデリングにおける柔軟性が実証された。