[論文レビュー] Deep Gaussian Processes for Regression using Approximate Expectation Propagation

Thang D. Bui, Daniel Hernández-Lobato+3 more|arXiv (Cornell University)|Feb 12, 2016

Gaussian Processes and Bayesian Inference参考文献 29被引用数 135

ひとこと要約

この論文は、スパース FITC 近似、結合因子を用いた EP ベースのエネルギー最適化、および確率的バックプロパゲーションを用いて、Deep Gaussian Processes (DGPs) のトレーニングのためのスケーラブルな近似ベイズ手法を導入し、GPや多くのベイズNNアプローチよりも優れた回帰性能を実現します。

ABSTRACT

Deep Gaussian processes (DGPs) are multi-layer hierarchical generalisations of Gaussian processes (GPs) and are formally equivalent to neural networks with multiple, infinitely wide hidden layers. DGPs are nonparametric probabilistic models and as such are arguably more flexible, have a greater capacity to generalise, and provide better calibrated uncertainty estimates than alternative deep models. This paper develops a new approximate Bayesian learning scheme that enables DGPs to be applied to a range of medium to large scale regression problems for the first time. The new method uses an approximate Expectation Propagation procedure and a novel and efficient extension of the probabilistic backpropagation algorithm for learning. We evaluate the new method for non-linear regression on eleven real-world datasets, showing that it always outperforms GP regression and is almost always better than state-of-the-art deterministic and sampling-based approximate inference methods for Bayesian neural networks. As a by-product, this work provides a comprehensive analysis of six approximate Bayesian methods for training neural networks.

研究の動機と目的

• 回帰における Deep Gaussian Processes (DGPs) のスケーラブルなベイズ学習を動機付け、実現する。
• FITC スパース GP、結合因子制約を伴う近似 EP、そして確率的バックプロパゲーションを組み合わせた新しい推論方式を開発する。
• GP回帰およびベイズ NN 法と比較して、多様な実世界データセットで予測性能と不確実性の校正を改善することを示す。

提案手法

• Fully Independent Training Conditional (FITC) を用いて GP 層をスパース化し、誘導出力 u を導入して三次の計算を削減する。
• 結合因子制約を伴う近似 EP エネルギーを適用して、誘導出力とハイパーパラメータの事後分布を推定する。
• 確率的バックプロパゲーション（仮定密度フィルタリング）を用いて、深部GP層を通してガウス近似を伝播し、log Zと勾配を計算する。
• EPエネルギー（またはそれに対応する結合因子同等物）を直接最適化して、コストの高い二重ループEP手続きを要さずスケーラブルな推論を得る。
• データポイントごとの寄与を集約する目的関数を用いて、ミニバッチを活用したスケーラブルなトレーニングを可能にし、確率的最適化を実現する。
• 層を通して前方ガウス伝播により確率的予測分布を提供する。

実験結果

リサーチクエスチョン

• RQ1 スパース近似と EP ベースの推論を用いて、Medium から Large 規模の Deep Gaussian Processes を効率的に訓練できるか？
• RQ2 提案された FITC-DGP（近似 EP と確率的バックプロパゲーションを用いる） は、実世界データセット上で標準的な GP およびベイズ NNs より回帰性能と不確実性の定量化を向上させるか？
• RQ3 層を追加したり次元数を増やしたり誘導点を増やすことが、DGPsの予測性能と不確実性にどう影響するか？
• RQ4 計算量とメモリ使用量が、精度を維持しつつ変分法アプローチと同等のスケーラビリティを持つか？

主な発見

• 提案された推論スキームを備えた DGP は、すべてのテストデータセットで GP 回帰を上回る。
• ほとんどの場合、追加の層や高次元の隠れ層を持つ DGP が、ベースラインよりさらに予測性能を向上させる。
• 本手法は、評価タスクにおいてベイズNNの最先端の決定論的およびサンプリングベースの近似推論法をしばしば上回る。
• DGPは適切に校正された不確実性推定と競争力のあるRMSEを提供し、VIベースのBNN法は一般に不確実性定量化で劣る。