[論文レビュー] Nonparametric Bayesian Density Modeling with Gaussian Processes

Ryan P. Adams, Iain Murray+1 more|ArXiv.org|Dec 24, 2009

Bayesian Methods and Mixture Models参考文献 47被引用数 7

ひとこと要約

本稿では、潜在関数上のガウス過程の事前分布を用いて、基本密度関数と有界関数 Φ を含む変換を通じて有効な確率密度関数を生成する非パラメトリックベイズ的手法、ガウス過程密度サンプラー（GPDS）を提案する。この手法により、有限次元近似を必要とせず、MCMC を用いた正確な交換可能なデータサンプリングと事後分布推論が可能となり、密度関数およびハイパーパrameter に対する完全なベイズ推論が実現される。

ABSTRACT

We present the Gaussian process density sampler (GPDS), an exchangeable generative model for use in nonparametric Bayesian density estimation. Samples drawn from the GPDS are consistent with exact, independent samples from a distribution defined by a density that is a transformation of a function drawn from a Gaussian process prior. Our formulation allows us to infer an unknown density from data using Markov chain Monte Carlo, which gives samples from the posterior distribution over density functions and from the predictive distribution on data space. We describe two such MCMC methods. Both methods also allow inference of the hyperparameters of the Gaussian process.

研究の動機と目的

• 有限次元近似を必要とせず、正確かつ交換可能なデータ生成を可能にする、確率密度関数の完全な非パラメトリックベイズ事前分布の構築を目的とする。
• ガウス過程の事前分布は本質的に正規化されておらず、負の値をとる可能性があるため、そのような事前分布から有効で正規化された密度関数を構築する課題に対処すること。
• マルコフ連鎖モンテカルロ（MCMC）法を用いて、密度関数およびそのハイパーパrameter に対する事後分布推論を可能とすること。
• パーティション関数の直接計算を回避する生成モデルを構築することで、GPに基づく密度事前分布における扱いにくい正規化定数を回避すること。
• 既存の手法（例：ロジスティックガウス過程）が推論のために有限次元近似に依存するのとは異なり、柔軟な代替手法を提供すること。

提案手法

• 平均 $ m(\boldsymbol{x}) $ と共分散関数 $ C(\boldsymbol{x}, \boldsymbol{x}') $ を持つガウス過程事前分布に従う潜在関数 $ g(\boldsymbol{x}) $ を定義し、ハイパーパrameter $ \theta $ でパラメータ化する。
• 密度関数 $ f(\boldsymbol{x}) = \frac{1}{\mathcal{Z}_\pi[\boldsymbol{g}]} \Phi(g(\boldsymbol{x})) \pi(\boldsymbol{x} | \psi) $ を構築する。ここで $ \pi(\boldsymbol{x} | \psi) $ は基本密度関数であり、$ \Phi: \mathbb{R} \to (0,1) $ は非負性を保証する。
• 正規化定数 $ \mathcal{Z}_\pi[\boldsymbol{g}] = \int \Phi(g(x')) \pi(x' | \psi) \, dx' $ を導入し、潜在関数 $ \boldsymbol{g} $ の関数として扱うことで、推論時に直接評価を避ける。
• 2つの MCMC アルゴリズムを用いる：1つは交換サンプリングに基づくもの、もう1つは潜在的生成履歴を推論するもの。両者とも $ \boldsymbol{g} $、$ \theta $、$ \psi $ の同時事後分布推論を可能にする。
• データ点 $ \boldsymbol{x}_0 $ において $ g(\boldsymbol{x}_0) = 0 $ と条件づけるピン留め機構を導入することで、サンプリング効率を向上させ、事前分布の冗長性を低減する。
• 潜在関数 $ g(\boldsymbol{x}) $ の完全な関数的形を連続的な確率的関数として扱うことで、有限次元近似を回避し、無限次元関数空間における非パラメトリック推論を可能とする。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程の事前分布を用いて、有限次元切断を必要とせず、有効で正規化された確率密度関数を構築する方法は何か？
• RQ2 非パラメトリック関数事前分布から抽出された密度関数から、正確かつ交換可能なデータサンプルを生成することは可能か？
• RQ3 GPに基づく密度事前分布における扱いにくい正規化定数を、ベイズ推論でどのように回避できるか？
• RQ4 潜在関数、密度のハイパーパrameter、および基本密度のパラメータの同時事後分布推論を可能にする MCMC 策略は何か？
• RQ5 提案手法は、ロジスティックガウス過程の有限次元近似と比較して、スケーラビリティと精度の点でどのように異なるか？

主な発見

• GPDS は、有界関数 $ \Phi $ と基本密度関数 $ \pi(\boldsymbol{x} | \psi) $ を用いたガウス過程の変換により、正規化および非負性を保証する有効な非パラメトリックな密度関数事前分布を提供する。
• この手法により、標準的なロジスティックガウス過程事前分布では正規化定数が扱いにくいため不可能な、事前分布からの正確かつ交換可能なデータサンプリングが可能となる。
• 交換サンプリングと潜在的生成履歴推論の2つの MCMC アルゴリズムが提案され、両者とも関数空間およびハイパーパrameter における事後分布からのサンプリングが可能である。
• 正規化定数 $ \mathcal{Z}_\pi[\boldsymbol{g}] $ は明示的に計算されない。代わりに、生成モデルが未正規化密度を直接扱うことで、その評価を回避する。
• データ点 $ \boldsymbol{x}_0 $ において潜在関数 $ g(\boldsymbol{x}_0) = 0 $ とピン留めすることで、サンプリング効率が向上し、事前分布の冗長性が低減される。
• グリッドベースの数値積分や基底展開に依存する有限次元近似の制限を回避する。これらの手法は次元が高くなるとスケーリングが悪く、明示的な切断が必要となる。