[論文レビュー] Subspace-Induced Gaussian Processes

Zilong Tan, Sayan Mukherjee|arXiv (Cornell University)|Feb 21, 2018

Gaussian Processes and Bayesian Inference被引用数 2

ひとこと要約

本稿では、再生核ヒルバート空間における十分次元削減部分空間を用いて共分散カーネルをパrameter化する低ランクGP回帰モデルであるSubspace-Induced Gaussian Processes (SIGP)を提案する。この部分空間を活用することで、SIGPは顕著な計算効率化と予測分散の低減を達成し、ランク-$m \leq 3$でさえも標準的フルGPを上回る性能を示す。

ABSTRACT

We present a new Gaussian process (GP) regression model where the covariance kernel is indexed or parameterized by a sufficient dimension reduction subspace of a reproducing kernel Hilbert space. The covariance kernel will be low-rank while capturing the statistical dependency of the response to the covariates, this affords significant improvement in computational efficiency as well as potential reduction in the variance of predictions. We develop a fast Expectation-Maximization algorithm for estimating the parameters of the subspace-induced Gaussian process (SIGP). Extensive results on real data show that SIGP can outperform the standard full GP even with a low rank-$m$, $m\leq 3$, inducing subspace.

研究の動機と目的

• 高次元設定における標準的ガウス過程回帰の計算非効率性を解消すること。
• 予測精度を損なわずにGPモデルの予測分散を低減すること。
• カーネル空間における次元削減を通じて統計的パワーを維持するスケーラブルなGPフレームワークを構築すること。
• パrameter推定のための新規な期待値最大化アルゴリズムを用いて高速な推論を可能にすること。
• 低ランクの部分空間誘導カーネルが、フルランクGPモデルと同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 再生核ヒルバート空間における十分次元削減を用いて導出された低ランク部分空間を用いて、GPの共分散カーネルをパrameter化する。
• 入力変数と応答変数間の本質的依存関係を捉えつつ計算コストを低減する低ランクカーネル行列を構築する。
• 誘導された部分空間を用いて尤度を定式化し、効率的なマージナル尤度最適化を可能にする。
• 部分空間とカーネルハイパーパrameterを同時に推定する高速な期待値最大化アルゴリズムを開発する。
• GP回帰を適用する前に、入力共変量を低次元空間に部分空間へ投影する。
• カーネルの構造を活用して、得られる共分散行列が正定値であり、計算的に取り扱い可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 十分次元削減部分空間によって誘導される低ランクカーネルは、フルランクGPモデルと同等の予測精度を維持できるか？
• RQ2 部分空間誘導カーネルは、GP回帰における計算効率と予測分散にどのように影響を与えるか？
• RQ3 提案されたEMベースの推定手順は、潜在部分空間とカーネルパrameterを信頼性高く回復できるか？
• RQ4 部分空間誘導カーネルが標準GPモデルを上回るための最小ランク（$m$）は何か？
• RQ5 高次元入力を有する実世界のデータセットにおいて、SIGPはベースラインGP手法と比較してどのように性能を発揮するか？

主な発見

• SIGPは、$m \leq 3$でさえも、低ランクカーネル構造のおかげで顕著な計算高速化を達成する。
• 特に高次元設定において、標準的フルGPと比較して予測分散が低減される。
• 実データを用いた広範な実験から、SIGPは予測性能の面で標準GPモデルを上回ることが示された。
• 提案されたEMアルゴリズムは、信頼性があり、効率的に高品質なパrameter推定値に収束する。
• 最小ランク（$m=1,2,3$）であっても、SIGPはフルGP性能と同等またはそれを上回る統計的依存関係を捉える。
• 部分空間誘導カーネルは、応答変数を予測するのに最も関連性のある方向を効果的に同定する。