[論文レビュー] Approximate Inference for Fully Bayesian Gaussian Process Regression

Vidhi Lalchand, Carl Edward Rasmussen|arXiv (Cornell University)|Dec 31, 2019

Gaussian Processes and Bayesian Inference参考文献 20被引用数 23

ひとこと要約

本稿では、不確実性の高いハイパーパrameterの事後分布を扱うために、完全ベイズ型ガウス過程回帰における近似推論手法—ハミルトニアンモンテカルロ（HMC）および変分インファレンス（VI）—を提案する。完全ベイズ的手法は、タイプII最尤推定（ML-II）よりも優れた予測性能を示し、HMCおよびフルランクVIは、ベンチマークデータセットにおいて、平均場VIおよびML-IIを上回る性能を発揮する。

ABSTRACT

Learning in Gaussian Process models occurs through the adaptation of hyperparameters of the mean and the covariance function. The classical approach entails maximizing the marginal likelihood yielding fixed point estimates (an approach called extit{Type II maximum likelihood} or ML-II). An alternative learning procedure is to infer the posterior over hyperparameters in a hierarchical specification of GPs we call extit{Fully Bayesian Gaussian Process Regression} (GPR). This work considers two approximation schemes for the intractable hyperparameter posterior: 1) Hamiltonian Monte Carlo (HMC) yielding a sampling-based approximation and 2) Variational Inference (VI) where the posterior over hyperparameters is approximated by a factorized Gaussian (mean-field) or a full-rank Gaussian accounting for correlations between hyperparameters. We analyze the predictive performance for fully Bayesian GPR on a range of benchmark data sets.

研究の動機と目的

• ガウス過程回帰におけるタイプII最尤推定（ML-II）の限界を解決すること。ML-IIは非凸性、局所最適解、不確実性の低減を伴う。
• ハイパーパrameterおよび潜在関数の事後分布を近似することで、ハイパーパrameterの完全ベイズ推論を可能にすること。
• HMCおよびVIといった近似推論手法の予測性能と不確実性の定量化を、階層的GPフレームワークにおける標準的なML-IIと比較すること。
• 弱い同定性や平坦な尤度曲面が存在する状況において、ハイパーパrameterの不確実性が予測事後分布にどのように伝播するかを調査すること。
• ML-IIの点推定がしばしば劣悪な局所最適解に位置することを示し、特に高次元のハイパーパrameter空間では過学習と一般化性能の低下を引き起こす。

提案手法

• ハイパーパrameterと潜在関数の結合事後分布からのサンプリングを可能にするために、ハミルトニアンモンテカルロ（HMC）をノ・ユ・ツーネイチャー・サンプラー（NUTS）を介して用い、不確実なハイパーパrameter事後分布の正確な近似を実現する。
• ハイパーパramタの事後分布に対する、平均場（因子化されたガウス分布）およびフルランク（共分散を考慮）の近似を用いた変分インファレンス（VI）を適用し、近似事後分布と真の事後分布とのKLダイバージェンスを最小化する。
• ハイパーパラメータ事後分布の周辺化により予測分布を混合ガウス分布として得る。$ p(f^*|y) \approx \frac{1}{M} \sum_{j=1}^M p(f^*|y, \theta_j) $、ここで $ \theta_j \sim p(\theta|y) $。
• 潜在関数値 $ f $ に対する解析的周辺化を活用し、予測事後分布をハイパーパラメータ事後分布の関数に簡略化し、その後、サンプリングまたは変分最適化により近似する。
• HMCのためのノ・ユ・ツーネイチャー・サンプラー（NUTS）を用い、ランダムウォーク行動を回避し、ハイパーパラメータ空間の効率的探索を実現。収束性はR-hatおよび有効サンプルサイズにより評価。
• ハイパーパラメータ間の相関を考慮するため、フルランクVIを実装し、特に高次元または相関のあるハイパーパラメータ空間において、平均場VIよりも精度の高い近似を実現する。

実験結果

リサーチクエスチョン

• RQ1 HMCおよびVIに基づく近似推論手法は、ベンチマークデータセットにおいてML-IIと比較して、予測性能にどのような差を示すか？
• RQ2 ハイパーパラメータの不確実性を適切に定量化する完全ベイズ型GP回帰は、ML-IIの点推定に比べて一般化性能が向上するか？
• RQ3 HMCおよびVIによって得られるハイパーパラメータ事後分布は、ML-IIの推定値とどの程度異なるか？また、より優れた局所最適解に位置しているか？
• RQ4 平均場VIとフルランクVIの選択が、ハイパーパラメータ事後分布の近似精度および予測性能に与える影響は何か？
• RQ5 ハイパーパラメータの不確実性が予測事後分布に与える影響は何か？また、異なる近似スキームは、この伝播をどの程度正確に捉えられるか？

主な発見

• HMCおよびフルランクVIは、CO2、Wine、Concreteの各データセットにおいて、ML-IIおよび平均場VIを常に上回る予測性能を示し、テスト時の対数損失が低く、不確実性のキャリブレーションが良好である。
• ML-IIのハイパーパラメータ点推定は、より良い予測性能と高い周辺尤度を示す完全ベイズ手法の事後分布から見ると、劣悪な局所最適解に位置していることが判明した。
• 平均場VIはHMCおよびフルランクVIに比べて、より狭い事後分布の周辺分布を生成しており、不確実性が低減されていることを示している。一方、フルランクVIはHMCの事後分布をよく近似している。
• 完全ベイズ手法下でのノイズ標準偏差の推定値は、ML-IIよりも高くなる。これは、ML-IIがノイズを低減している可能性を示しており、特にAirlineデータセットでは過学習が生じやすい。
• HMCの収束は、R-hat値が1.0に近く、有効サンプル数（例：ほとんどのパラメータでn_eff > 700）が高いために確認された。これは、信頼性の高い事後分布サンプリングを示している。
• 完全ベイズ推論下の予測事後分布は混合ガウス分布であり、HMCおよびVIによる近似は、この複雑な非ガウス的構造を的確に捉え、モデルの誤指定に対するロバストネスを向上させた。