[論文レビュー] Marginalised Gaussian Processes with Nested Sampling

Fergus Simpson, Vidhi Lalchand+1 more|arXiv (Cornell University)|Oct 30, 2020

Gaussian Processes and Bayesian Inference参考文献 30被引用数 4

ひとこと要約

本論文では、ガウス過程におけるカーネルハイパーパrameterの周辺化にネストド・サブセットリングを用いることを提案する。これは、しばしば過信した予測や局所最適解に陥る最大尤度型II（ML-II）最適化の限界を克服することを目的としている。ハイパーパrameterの完全な事後分布からのサンプリングにより、スペクトル混合カーネルと同様に複数のモードを持つ尤度曲面を示す状況でも、より頑健で信頼性の高い予測区間が得られ、ML-IIおよびハミルトニアン・モンテカルロ（HMC）を凌駕する不確実性の定量化を実現する。

ABSTRACT

Gaussian Process (GPs) models are a rich distribution over functions with inductive biases controlled by a kernel function. Learning occurs through the optimisation of kernel hyperparameters using the marginal likelihood as the objective. This classical approach known as Type-II maximum likelihood (ML-II) yields point estimates of the hyperparameters, and continues to be the default method for training GPs. However, this approach risks underestimating predictive uncertainty and is prone to overfitting especially when there are many hyperparameters. Furthermore, gradient based optimisation makes ML-II point estimates highly susceptible to the presence of local minima. This work presents an alternative learning procedure where the hyperparameters of the kernel function are marginalised using Nested Sampling (NS), a technique that is well suited to sample from complex, multi-modal distributions. We focus on regression tasks with the spectral mixture (SM) class of kernels and find that a principled approach to quantifying model uncertainty leads to substantial gains in predictive performance across a range of synthetic and benchmark data sets. In this context, nested sampling is also found to offer a speed advantage over Hamiltonian Monte Carlo (HMC), widely considered to be the gold-standard in MCMC based inference.

研究の動機と目的

• 標準的なML-IIトレーニングにおける過信と局所最適解の問題を、ハイパーパrameterの不確実性を適切に反映することで解決すること。
• マルチモーダルな事後分布に対して、ネストド・サブセットリングが頑健な推論手法として有効であるかを評価すること。
• ハイパーパラメータの周辺化が、特に高次元またはノイズの多いデータ環境下で、より信頼性の高い予測区間をもたらすことを示すこと。
• 特にスペクトル混合のような複雑な尤度幾何構造を示す表現力のあるカーネルに対して、点推定の代替としての原理的かつ整合性のある手法を提供すること。

提案手法

• 本論文は、勾配に基づく最適化に依存しないように、ガウス過程のハイパーパラメータの事後分布を探索するためにネストド・サブセットリングを採用する。
• スペクトル混合カーネルを、スペクトル密度の再パrameter化によって複雑なパターンをモデル化可能な柔軟で表現力のある共分散関数として用いる。
• ハイパーパラメータをネストド・サブセットリングにより統合し、周辺尤度曲面の複数のモードを探索するための「ライブポイント」の集合を生成する。
• 予測は、ハイパーパラメータの完全な事後分布の平均を取ることで実行され、より頑健な予測分布が得られる。
• 本手法は、1台のGPUを用いて時系列および2次元回帰タスクにおいて、ハミルトニアン・モンテカルロ（HMC）およびML-II最適化と比較されている。
• サンプリング効率と事後分布の探索性を向上させるために、スペクトル混合カーネルのハイパーパラメータ用に独自の事前分布を提案する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル混合のような複雑なカーネル構造を有する場合でも、マルチモーダルなハイパーパラメータ事後分布からネストド・サブセットリングが効果的にサンプリングできるか。
• RQ2 ハイパーパラメータの周辺化をネストド・サブセットリングで行う場合、ML-IIおよびHMCと比較して予測不確実性および区間品質にどのような差が生じるか。
• RQ3 ハイパーパラメータの不確実性を考慮することで、時系列および回帰タスクにおいてより信頼性が高く頑健な予測区間が得られるか。
• RQ4 ガウス過程推論において、伝統的なML-IIやHMCと比較して、ネストド・サブセットリングの計算的トレードオフは何か。

主な発見

• ML-IIと比較して、ネストド・サブセットリングはより広く信頼性の高い予測区間を生成する。これは、ハイパーパラメータの点推定による過信が原因で生じる。
• 特にスペクトル混合カーネルモデルでは、複雑でマルチモーダルな幾何構造を持つ周辺尤度曲面においても、複数のモードを効果的に探索できた。
• より複雑な事後分布からのサンプリングであるにもかかわらず、ネストド・サブセットリングはML-IIトレーニングと比べて著しく遅くならず、時系列ベンチマークではHMCと比較して約2倍の遅延に留まった。
• ネストド・サブセットリングによるハイパーパラメータ周辺化を施したガウス過程の予測性能は、標準的なML-IIアプローチを上回っており、特にノイズが多いかデータが限られた環境下で顕著に優れた結果を示した。
• 実験では、HMCは同じ事後分布からのサンプリングであったが、ネストド・サブセットリングよりも約2倍遅かった。
• 結果として、ハイパーパラメータの完全な周辺化が、局所最適解や過学習に対する感受性を低減し、より頑健な性能をもたらすことが実証された。