[論文レビュー] Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals

Chunyi Wang, Radford M. Neal|arXiv (Cornell University)|Dec 26, 2012

Gaussian Processes and Bayesian Inference参考文献 12被引用数 37

ひとこと要約

本論文は、潜在的共変数を用いたガウス過程回帰モデル（GPLC）を提案し、入力依存のノイズと非ガウス型誤差分布を扱えるようにする。このモデルは、潜在変数を観測されない入力とみなすことにより、異分散性と非ガウス型誤差を効果的に処理する。MCMCサンプリングにおいて、修正されたメトロポリスアルゴリズムを用いることで混合性と収束速度が向上し、標準的なGPおよびGPLVモデルよりも優れた性能を示した。

ABSTRACT

Gaussian Process (GP) regression models typically assume that residuals are Gaussian and have the same variance for all observations. However, applications with input-dependent noise (heteroscedastic residuals) frequently arise in practice, as do applications in which the residuals do not have a Gaussian distribution. In this paper, we propose a GP Regression model with a latent variable that serves as an additional unobserved covariate for the regression. This model (which we call GPLC) allows for heteroscedasticity since it allows the function to have a changing partial derivative with respect to this unobserved covariate. With a suitable covariance function, our GPLC model can handle (a) Gaussian residuals with input-dependent variance, or (b) non-Gaussian residuals with input-dependent variance, or (c) Gaussian residuals with constant variance. We compare our model, using synthetic datasets, with a model proposed by Goldberg, Williams and Bishop (1998), which we refer to as GPLV, which only deals with case (a), as well as a standard GP model which can handle only case (c). Markov Chain Monte Carlo methods are developed for both modelsl. Experiments show that when the data is heteroscedastic, both GPLC and GPLV give better results (smaller mean squared error and negative log-probability density) than standard GP regression. In addition, when the residual are Gaussian, our GPLC model is generally nearly as good as GPLV, while when the residuals are non-Gaussian, our GPLC model is better than GPLV.

研究の動機と目的

• 標準的なガウス過程回帰が一定分散のi.i.d.ガウス誤差を仮定するという制限を克服すること。
• 入力依存のノイズ（異分散性）と非ガウス型誤差分布を扱える柔軟なGPモデルの開発。
• 潜在変数モデルのための計算的に効率的なMCMCサンプリング戦略の提案。
• 合成データセットを用いて、残差構造が異なる状況下でGPLCモデルを標準GPおよびGPLVモデルと実験的に比較すること。

提案手法

• GP回帰モデルに固定分布をもつ潜在変数を観測されない共変数として導入する。
• 応答変数に対する潜在変数の偏微分が変化可能となる共分散関数を用いることで、入力依存の残差分散を可能にする。
• 応答を $ y_i = f(x_i) + \epsilon_i $ としてモデル化し、$ \epsilon_i $ が潜在変数に依存するようにする。非線形変換により非ガウス型誤差が得られる。
• マルコフ連鎖モンテカルロ（MCMC）法を用いて事後分布推論を実施し、混合性を向上させるために修正されたメトロポリスサンプラーを導入する。
• 入力固有の滑らかさを捉えるために、自動関連性決定（ARD）を用いた二乗指数共分散関数を適用する。
• 対数ハイパーパrameterにハイパーパriorを設定し、MCMCにより推定する。収束性と効率性の評価にはトレースプロットと調整済み自己相関時間を利用する。

実験結果

リサーチクエスチョン

• RQ1 潜在的共変数を有するGPモデルは、ガウスノイズを仮定しない入力依存の残差分散（異分散性）を効果的に扱えるか？
• RQ2 非ガウス型誤差を持つ場合、GPLCモデルはGPLVモデルと比べて予測精度が優れているか？
• RQ3 修正されたメトロポリスMCMCサンプラーは、標準メトロポリスおよびスライスサンプリングと比較して、混合性と収束速度を著しく改善するか？
• RQ4 ガウス型誤差だが異分散性がある状況では、GPLCモデルはGPLVモデルと同等の性能を達成できるか？
• RQ5 潜在変数およびハイパーパrameterの自己相関時間と混合時間の観点から、GPLCモデルの計算効率はどの程度か？

主な発見

• 異分散性のある状況では、GPLCモデルは標準GP回帰と比較して、平均二乗誤差と負の対数尤度密度が顕著に低かった。
• 非ガウス型誤差を持つ場合、GPLCモデルはガウス誤差を仮定するGPLVモデルを上回った。
• ガウス型誤差でありながら入力依存の分散を有する状況では、GPLCモデルはGPLVモデルとほぼ同等の性能を示した。
• 修正されたメトロポリスサンプラーは、通常のメトロポリスおよびスライスサンプラーと比較して、潜在変数の調整済み自己相関時間を50〜100倍短縮した。
• 修正されたメトロポリスサンプラーは、初期値からの平衡状態への到達が早く、特に潜在変数において混合性が優れていた。トレースプロットからは、事前分布の平均から急速に収束していることが確認された。
• ハイパーパrameterに関しては、修正されたメトロポリスサンプラーは通常のメトロポリスサンプラーと同等の性能を示し、両者ともスライスサンプラーを上回る混合速度を達成した。