[論文レビュー] Multiple Gaussian Process Models

Cédric Archambeau, Francis Bach|arXiv (Cornell University)|Oct 24, 2011

Gaussian Processes and Bayesian Inference参考文献 29被引用数 14

ひとこと要約

本稿では、一般化逆ガンマ分布をカーネル重みに用いた階層ベイズ的事前分布を導入し、スパース性をデータ駆動的に適応的に誘導する、複数のカーネル学習のための複数のガウス過程（MGP）モデルを提案する。この手法は回帰および二値分類のための変分推論を採用し、手動による正則化チューニングを必要とせず関連するカーネルを自動的に選択することで、ベンチマークデータセットにおいて最先端の性能を達成する。

ABSTRACT

We consider a Gaussian process formulation of the multiple kernel learning problem. The goal is to select the convex combination of kernel matrices that best explains the data and by doing so improve the generalisation on unseen data. Sparsity in the kernel weights is obtained by adopting a hierarchical Bayesian approach: Gaussian process priors are imposed over the latent functions and generalised inverse Gaussians on their associated weights. This construction is equivalent to imposing a product of heavy-tailed process priors over function space. A variational inference algorithm is derived for regression and binary classification.

研究の動機と目的

• データ駆動的なスパースネスパターンに自動的に適応することができるベイズ枠組みを構築すること。
• ℓp-ノルム正則化の統一的取り扱いを、データから適切なスパース性誘導事前分布を学習することによって実現すること。
• 事前規範（例：ℓ1 や ℓ2）を事前に指定する必要がある頻度主義的MKL手法の限界を克服すること。
• 交差検証に基づくカーネル選択とは異なり、柔軟でスケーラブルかつ原理的である代替手法を提供すること。

提案手法

• 潜在関数にガウス過程事前分布を、カーネル重みに一般化逆ガンマ事前分布を導入することでスパース性を誘導する階層ベイズモデルを設定する。
• スパイクアンドスラブ事前分布の近似として、ゼロ平均ガウススケール混合の積を用い、連続的で裾の重い事前分布を実現し、スパース解を好む。
• 平均場近似と切り捨てられたガウス変分後確率分布を用いて、回帰および二値分類の両方のための変分推論アルゴリズムを導出する。
• マージナル尤度を逆スケールパラメータで重み付けられたカーネル行列の和としてモデル化し、非線形な加法的関数空間表現を可能にする。
• 線形および非線形カーネル行列の両方に対して同一のフレームワークを適用し、柔軟な関数空間モデリングを可能にする。
• マージナル尤度と変分下界を用いて、統一されたベイズ枠組み内でのモデル推論とハイパーパrameter学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 裾の重い事前分布を有する階層ベイズモデルは、事前に正則化ノルムを指定せずに関連するカーネルを自動的に選択できるか？
• RQ2 固定された ℓ1、ℓ2、または ℓ4/3 正則化を用いた標準的なMKL手法と比較して、MGPモデルの性能はスパースおよび非スパース問題においてどうなるか？
• RQ3 MGPフレームワークは、データ生成過程におけるスパースネスの程度の変動にどの程度適応できるか？
• RQ4 一般化逆ガンマ事前分布の使用は、ラプラス分布やスルーディアス分布といった標準的事前分布よりも、複数のカーネル学習においてより優れた一般化性能をもたらすか？
• RQ5 MGPモデルは、カーネル選択のための交差検証に依存せず、実世界の分類ベンチマークで最先端の性能を達成できるか？

主な発見

• トイラベル回帰データにおいて、Multiple Student-t および Gamma-variance MGP モデルはスパース設定で 0.033 (±0.027) の最小二乗平均誤差を達成し、ARD や ℓ1-MKL を上回った。
• 10個の活性カーネルを持つ非スパース設定では、MGPモデルは平均誤差 0.719 (±0.221) を達成し、スパースケースにおける ℓ2-MKL (0.830 ± 0.655) や ℓ4/3-MKL (0.097 ± 0.062) を顕著に上回った。
• Student-t および Gamma-variance 事前分布を用いたMGPフレームワークは、Flowersデータセットで平均AUC 0.948 ± 0.057 を達成し、最先端のMKL結果を上回った。
• 図2（付録）に示すように、階層ベイズ的手法はデータのスパースネスにうまく適応しており、事後カーネル重みが真のスパースネスパターンを反映していた。
• 変分推論アルゴリズムは安定して収束し、正確な予測分布を提供した。分類意思決定は、事後平均関数の符号に基づいてなされた。
• MGPモデルはモデルの誤設定に対しても頑健であった。特に、真の解がスパースである場合に ℓ2-MKL が性能を著しく低下させるのとは対照的に、MGPモデルはその影響を受けることが少なかった。