[論文レビュー] Monte Carlo Implementation of Gaussian Process Models for Bayesian Regression and Classification

Radford M. Neal|ArXiv.org|Jan 28, 1997

Gaussian Processes and Bayesian Inference参考文献 17被引用数 391

ひとこと要約

本稿では、非ガウス型尤度および階層的ハイパーパrameterを扱うためにマルコフ連鎖モンテカルロ（MCMC）サンプリングを用いた、ベイズ回帰および分類のためのガウス過程モデルのモンテカルロ実装を提示する。潜在変数とハイパーパrameterをモデル化することにより、最大約1,000件のデータセットに対して頑健な推論を可能にし、重い尾を持つノイズを伴う回帰および入力の重要度を自動で特定する分類タスクにおいて、性能の向上を示している。

ABSTRACT

Gaussian processes are a natural way of defining prior distributions over functions of one or more input variables. In a simple nonparametric regression problem, where such a function gives the mean of a Gaussian distribution for an observed response, a Gaussian process model can easily be implemented using matrix computations that are feasible for datasets of up to about a thousand cases. Hyperparameters that define the covariance function of the Gaussian process can be sampled using Markov chain methods. Regression models where the noise has a t distribution and logistic or probit models for classification applications can be implemented by sampling as well for latent values underlying the observations. Software is now available that implements these methods using covariance functions with hierarchical parameterizations. Models defined in this way can discover high-level properties of the data, such as which inputs are relevant to predicting the response.

研究の動機と目的

• 非ガウス型尤度を伴う回帰および分類におけるガウス過程モデルのMCMCを用いた拡張。
• 共分散関数のパラメータに階層的ハイパーパラメータを適用した完全ベイズ推論の実現。
• 効率的な行列演算とMCMCサンプリングを用いて、最大約1,000件のデータセットへのガウス過程の実用的応用を支援。
• 適応的ハイパーパラメータを用いた入力の重要度の自動特定が可能なモデルの能力を示すこと。
• 研究および教育的用途向けに自由に利用可能なソフトウェアの提供を支援し、柔軟な共分散関数および一般化モデルをサポートすること。

提案手法

• 非ガウス型尤度（例：スチューデントt分布ノイズ、分類におけるプロビット／ロジスティックリンク）のための潜在変数表現を用いる。
• ハイパーパラメータ、潜在変数、ノイズ分散を同時に更新するため、マルコフ連鎖モンテカルロ（MCMC）サンプリングを採用する。
• ハイパーパラメータに共役事前分布を適用し、後方分布推論にギブスサンプリングを用いる。
• 共分散関数に階層的パrameter化を適用し、入力の重要度検出に複数の指数成分を組み込む。
• 回帰における予測平均および分散の計算に、行列演算（例：コレスキー分解）を実装する。
• 共分散行列が悪条件である場合の行列逆行列の安定化のため、ジャッタを用いる。

実験結果

リサーチクエスチョン

• RQ1 MCMCを用いたガウス過程モデルは、t分布ノイズや二値分類などの非ガウス型尤度に効果的に拡張可能か？
• RQ2 共分散関数のパラメータに階層的ハイパーパラメータを適用した場合、回帰および分類タスクにおいて関連する入力変数を自動で特定できるか？
• RQ3 標準的なハードウェアを用いて、中程度のサイズ（最大約1,000件）のデータセットにガウス過程モデルを適用する計算上の実行可能性はいかがなものか？
• RQ4 MCMC推論を用いたガウス過程モデルは、重い尾を持つノイズを伴う回帰において、標準モデルと比較してどの程度の性能を示すか？
• RQ5 加法的分解を含む、柔軟で階層的な共分散関数をサポートできるフレームワークは、自動モデル選択を可能にするか？

主な発見

• 外れ値を含む回帰データセットにおいて、t分布ノイズモデルはガウスノイズモデルよりもより頑健で正確な予測を達成しており、視覚的検査および真の関数に近い結果から裏付けられた。
• MCMC実装は中程度のサイズの分類問題を効果的に処理でき、バーンイン100回の後、5回に1回の間隔で予測が行われた。
• ソフトウェアは、最大約1,000件のデータセットに対して、階層的ハイパーパラメータを用いた完全ベイズ推論が標準的なハードウェア上で数時間程度で実現可能であることを示した。
• 共分散関数への各入力の寄与度を制御するハイパーパラメータを通じて、モデルは関連する入力を自動で特定した。
• 潜在変数の使用により、非ガウス型尤度の正確なベイズ推論が可能となり、決定的近似の必要がなくなった。
• 実装は、階層的事前分布を備えた多様な共分散関数をサポートしており、複雑なデータ構造の柔軟なモデリングを可能にした。