[論文レビュー] Laplace approximation for logistic Gaussian process density estimation and regression

Jaakko Riihimäki, Aki Vehtari|arXiv (Cornell University)|Nov 1, 2012

Gaussian Processes and Bayesian Inference参考文献 22被引用数 5

ひとこと要約

本稿では、密度推定および回帰のための高速かつ高精度なラプラス近似（LA）を、ロジスティック・ガウス過程（LGP）に適用する手法を提案する。この手法により、1次元および2次元密度のインタラクティブ可視化が可能となる。LAとタイプ-IIの最尤法（MAP）によるハイパーパrameter推定、および低ランク近似を組み合わせることで、数秒でMCMCに近い精度を達成。シミュレートデータおよび実データにおいて優れた性能を示し、MCMCに比べて著しく高速な計算を実現した。

ABSTRACT

Logistic Gaussian process (LGP) priors provide a flexible alternative for modelling unknown densities. The smoothness properties of the density estimates can be controlled through the prior covariance structure of the LGP, but the challenge is the analytically intractable inference. In this paper, we present approximate Bayesian inference for LGP density estimation in a grid using Laplace's method to integrate over the non-Gaussian posterior distribution of latent function values and to determine the covariance function parameters with type-II maximum a posteriori (MAP) estimation. We demonstrate that Laplace's method with MAP is sufficiently fast for practical interactive visualisation of 1D and 2D densities. Our experiments with simulated and real 1D data sets show that the estimation accuracy is close to a Markov chain Monte Carlo approximation and state-of-the-art hierarchical infinite Gaussian mixture models. We also construct a reduced-rank approximation to speed up the computations for dense 2D grids, and demonstrate density regression with the proposed Laplace approach.

研究の動機と目的

• ロジスティック・ガウス過程（LGP）モデルにおける密度推定のためのベイズ推論の計算的非実行可能性を解決すること。
• 近似ベイズ推論を用いて、インタラクティブな密度推定および回帰のための高速でスケーラブルな手法を開発すること。
• 計算コストが非常に高いMCMCサンプリングに代えて、ラプラス法を用いて事後分布の統合およびハイパーパrameter推定を行うこと。
• 密なグリッド上で効率的な密度回帰および条件付き密度推定を実現するために、LA-LGPを用いること。
• 高次元グリッドにおける計算コストを低ランク近似およびクリロネッカー積構造を用いて低減すること。

提案手法

• 固定グリッド上の潜在関数値の不確実な事後分布を近似するために、ラプラス法を適用する。
• 勾配ベース最適化（例：BFGS）を用いて、タイプ-IIのMAP推定により最適な共分散関数パラメータを決定する。
• 密な2次元グリッドにおけるO(m³)スケーリングを回避するために、クリロネッカー積構造を用いた低ランク近似を実装する。
• 定期的グリッド上での定常共分散関数に対して高速フーリエ変換（FFT）を活用し、行列演算を高速化する。
• ラプラス近似による2次元LGP密度推定の結果をもとに、周辺化により条件付き密度推定を構築する。
• LA近似の精度を検証するため、重要度サンプリングおよびMCMCをベンチマークとして用いる。

実験結果

リサーチクエスチョン

• RQ1 ラプラス法は、LGP密度推定においてMCMCに代わる高速かつ高精度な代替手段となり得るか？
• RQ2 LA-LGPの性能は、MCMCおよび階層的無限ガウス・ミックスチャネル・モデルと比較して、推定精度においてどのように差がつくか？
• RQ3 提案手法は、1次元および2次元密度推定のインタラクティブ可視化をリアルタイムでサポートできるか？
• RQ4 低ランク近似が、密な2次元グリッドにおける計算効率および推定精度に与える影響は何か？
• RQ5 LA-LGPフレームワークは、密度回帰および条件付き密度推定に効果的に拡張可能か？

主な発見

• タイプ-IIのMAP推定を用いたラプラス近似は、シミュレートデータおよび実データの1次元データセットにおいて、MCMCおよび最先端の階層的無限ガウス・ミックスチャネル・モデルに近い推定精度を達成した。
• 400グリッドポイントにおける密度推定にLA-LGPを用いる場合、1〜2秒で完了し、密度およびバイオリンプロットの実用的インタラクティブ可視化を可能にした。
• 20×20グリッドにおけるLA-DRによる密度回帰は約3秒で実行されたのに対し、MCMCでは1600秒を要した。これにより500倍の高速化が達成された。
• クリロネッカー積による低ランク近似は、密な2次元グリッドにおけるO(m³)の計算ボトルネックを効果的に緩和した。
• 2次元LGP密度推定の結果をもとに、条件付き密度推定を成功裏に生成した。これにより、回帰タスクにおける有効性が裏付けられた。
• 期待値伝播（EP）は、LAがすでにMCMCにほぼ匹敵する性能を発揮していることと、非対角行列の精度行列に対するEPの実装が非自明であることから、性能向上は著しくないと思われる。