[論文レビュー] Efficient Bayesian Inference for a Gaussian Process Density Model

Christian Donner, Manfred Opper|arXiv (Cornell University)|May 29, 2018

Gaussian Processes and Bayesian Inference参考文献 12被引用数 7

ひとこと要約

本稿では、潜在的ポリア–ガムの変数とマーク付きポアソン過程を導入することで、ガウス過程に基づくノンパラメトリック密度モデルに対する効率的なベイズ推論フレームワークを提案する。これにより、尤度関数がガウス過程事前分布に対して共役となる。得られるモデルは、正確なギブスサンプリングとスパースGP技術を用いた高速な変分ベイズ近似を可能にし、従来のMCMC手法と比較して、数え千点程度のデータセットにおいてスケーラビリティが著しく向上する。

ABSTRACT

We reconsider a nonparametric density model based on Gaussian processes. By augmenting the model with latent Pólya--Gamma random variables and a latent marked Poisson process we obtain a new likelihood which is conjugate to the model's Gaussian process prior. The augmented posterior allows for efficient inference by Gibbs sampling and an approximate variational mean field approach. For the latter we utilise sparse GP approximations to tackle the infinite dimensionality of the problem. The performance of both algorithms and comparisons with other density estimators are demonstrated on artificial and real datasets with up to several thousand data points.

研究の動機と目的

• 非共役尤度関数と無限次元関数空間による非パラメトリックガウス過程密度モデルにおけるベイズ推論の非効率性という課題に対処する。
• メトロポリス–ハスティングス法のような標準的手法が計算的に非現実的になる問題を、潜在変数補完による共役尤度構造の導入によって克服する。
• 大規模データセットを扱いながらもノンパラメトリックな柔軟性を保ちつつ、スケーラブルな推論アルゴリズム（具体的にはギブスサンプリングと変分ベイズ）を構築する。
• ガウス過程モデルと学習済みベース測度（例：GMM）を組み合わせることで、高次元データにおける有効次元数を低減し、性能向上を実現する。
• 従来の手法が遅すぎたり非現実的だったため、数千点規模の実世界データセットへのGP密度モデルの実用的応用を可能にする。

提案手法

• シグモイドリンク関数を無限個のガウス混合として表現するため、潜在的ポリア–ガム確率変数を導入し、非共役尤度を共役形に変換する。
• 尤度関数に現れる正規化積分を表現するため、潜在的マーク付きポアソン過程を導入し、関数空間全体に対する正確な周辺化を可能にする。
• 拡張モデルの共役性を活用したギブスサンプラーを導出することで、ガウス過程および補助変数の事後分布からの効率的サンプリングを実現する。
• スパースGP手法を用いた変分ベイズ近似を構築し、ガウス過程事前分布の無限次元性に対処し、データサイズに線形に比例する計算コストに低減する。
• 尤度関数内の高次元積分を近似するために、学習済みベース測度（例：GMM）を用いた重要度サンプリングを活用し、高次元設定における精度を向上させる。
• ベース測度π(x)としてあらかじめフィッティングされたGMMとガウス過程モデルを組み合わせ、低次元多様体構造を持つデータに対して有効次元数を低減し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 潜在的補助変数の導入により共役性を達成することで、ノンパラメトリックGP密度モデルにおけるベイズ推論を実行可能にすることができるか？
• RQ2 標準的なMCMCが計算的に非現実的になる数え千点規模のデータセットに対して、GPに基づく密度推定をどのようにスケーリングできるか？
• RQ3 学習済みベース測度（例：GMM）を用いることで、高次元データにおけるGP密度推定の性能と安定性はどの程度向上するか？
• RQ4 実データおよび人工データセットにおいて、提案されたギブスサンプラーと変分ベイズ近似は、精度と計算効率の点でどのように比較されるか？
• RQ5 高次元設定における本手法の限界は何か？また、それらは他の密度推定器と組み合わせることで緩和可能か？

主な発見

• ポリア–ガム変数による共役補完により、GP密度モデルにおける正確なギブスサンプリングが可能となり、標準的手法が阻害される非共役性を克服した。
• スパースGP近似を用いた変分ベイズ近似はデータサイズに線形に比例し、6,000点までのデータセットを効率的に処理でき、計算効率においてMCMCを上回った。
• 「Forest Fire」、「Thyroid」、「Wine」の各データセットにおいて、GPモデルにGMMをベース測度として組み合わせることで、それぞれ平均して8.9%、4.1%、1.1%のテスト対数尤度の向上が得られた。
• ギブスサンプラーは数百点規模の問題では立方則に比例するため実用的ではなく、一方で変分ベイズ法は大規模データセットに対しても実行可能である。
• ベース測度π(x)をデータの内生的低次元構造に適合させることで、KDEやベースラインGMMと比較して顕著な性能向上が達成された。
• GMMベースのベース測度を用いた重要度サンプリングは、近似誤差が小さい場合（std(I) < 10⁻² × I）にのみ安定した結果を示し、悪い近似は評価で除外された。