[論文レビュー] Gaussian Processes: A Quick Introduction

Mark Ebden|arXiv (Cornell University)|May 12, 2015

Gaussian Processes and Bayesian Inference被引用数 97

ひとこと要約

この論文は、回帰および分類のためのガウス過程（GPs）の簡潔な紹介を提供しており、共分散関数とベイズ推論を用いて関数を非パrametricにモデル化する方法を説明している。GPsは潜在関数の周辺化を通じて新しい入力の予測分布を導出し、カーネル行列と行列の逆行列を含む閉形式の解を用いて、GP回帰が予測値と不確実性の推定値を両方得られることを示している。

ABSTRACT

A gentle introduction to Gaussian processes (GPs). The three parts of the document consider GPs for regression, classification, and dimensionality reduction.

研究の動機と目的

• 回帰および分類のための柔軟で非パrametricなベイズ的手法としてのガウス過程を提示すること。
• GPsが平均関数と共分散関数を用いて関数をモデル化する方法を説明し、二乗指数カーネルを標準的な選択肢として提示すること。
• 多変量ガウス分布フレームワークにおける条件付き確率を用いて、新しい入力の予測分布を導出すること。
• ソフトマックス関数とラプラス近似を用いて、多クラス分類へのフレームワークの拡張を実施すること。
• ハイパーパramータ最適化とカーネルパラメータのモデル平均化の重要性を強調すること、以て堅牢な推論を実現すること。

提案手法

• 観測ノイズを組み込んだ、ゼロ平均と二乗指数共分散関数 $ k(x,x') = \sigma_f^2 \exp\big(-\frac{(x-x')^2}{2l^2}\big) + \sigma_n^2 \delta(x,x') $ を持つガウス過程として、潜在関数 $ f(x) $ をモデル化する。
• 訓練出力 $ \mathbf{y} $ とテスト予測 $ y_* $ の間の連合ガウス分布を $ \begin{bmatrix}\mathbf{y} \\ y_*\end{bmatrix} \sim \mathcal{N}\big(\mathbf{0}, \begin{bmatrix}K & K_*^T \\ K_* & K_{**}\end{bmatrix}\big) $ として表現する。
• 予測分布 $ y_*|\mathbf{y} \sim \mathcal{N}(K_*K^{-1}\mathbf{y},~{} K_{**} - K_*K^{-1}K_*^T) $ を導出し、予測の平均と予測分散の両方を得る。
• 正確な周辺尤度最大化が困難な場合に、ハイパーパramータ最適化を可能にするために、尤度 $ p(\mathbf{y}|\mathbf{x},\boldsymbol{\theta}) $ にラプラス近似を適用する。
• 複数の潜在関数をモデル化し、ソフトマックスリンク関数を用い、ラプラス法による事後分布の近似を用いて、多クラス分類へのフレームワークの拡張を実施する。
• 多クラスGPCの近似周辺尤度を $ p(\mathbf{y}|\mathbf{x},\boldsymbol{\theta}) = -\frac{1}{2}\hat{\mathbf{f}}^T K^{-1}\hat{\mathbf{f}} + \mathbf{y}^T \hat{\mathbf{f}} - \sum_i \log\big(\sum_c \exp\hat{f}_i^c\big) - \frac{1}{2}\log(|K||K^{-1}+W|) $ として導出する。

実験結果

リサーチクエスチョン

• RQ1 非パrametricなベイズ手法としてのガウス過程は、回帰において予測値と不確実性の推定値をどのように同時に提供するのか？
• RQ2 共分散関数が予測関数の滑らかさと相関構造を決定する役割を果たすのはどのような点か？
• RQ3 GP回帰における予測分布は、多変量ガウス分布の条件付き分布からどのように導出されるのか？
• RQ4 潜在関数とソフトマックス変換を用いて、GP分類を多クラス問題にどのように拡張できるか？
• RQ5 正確な周辺尤度最大化が不可能な場合、ラプラス近似がハイパーパramータ最適化において果たす役割は何か？

主な発見

• 新しい入力 $ x_* $ における予測平均は $ \overline{y}_* = K_*K^{-1}\mathbf{y} $ で与えられ、カーネルに基づく重みを用いた訓練出力の重み付き平均である。
• 予測分散は $ \mathrm{var}(y_*) = K_{**} - K_*K^{-1}K_*^T $ であり、$ x_* $ が訓練点に近づくにつれて減少し、信頼性の向上を反映している。
• 図1の例では、$ \sigma_n = 0.3 $、$ \sigma_f^2 = 1.0 $、$ l = 1.0 $ の場合、$ x_* = 0.2 $ における予測値は約1.46、分散は約0.22である。
• 周辺尤度は $ p(\mathbf{y}|\mathbf{x},\boldsymbol{\theta}) $ の最大化によって最適化され、カーネルハイパーパramータ $ \sigma_f $ と $ l $ を通じて、モデルの適合度と複雑さのバランスが取られる。
• 多クラス分類では、潜在関数の事後平均は $ \hat{\mathbf{f}} = K(\mathbf{y} - \hat{\boldsymbol{\pi}}) $ として推定され、不確実性は共分散行列 $ (K^{-1} + W)^{-1} $ によって捉えられる。
• 多クラスGPCの対数周辺尤度には、データへの適合度、潜在変数の対数和指数、およびカーネル行列とフィッシャー情報行列の行列式による複雑さペナルティの項が含まれる。