[論文レビュー] Robust Deep Gaussian Processes

Jeremias Knoblauch|arXiv (Cornell University)|Apr 4, 2019

Gaussian Processes and Bayesian Inference参考文献 31被引用数 8

ひとこと要約

本稿では、情報幾何的原理を用いて、モデルの不適合に対するロバスト性を向上させるとともに、体系的な不確実性の定量化を可能にする一般化変分推論（GVI）を導入し、深層ガウス過程（DGPs）を改善する。標準的な尤度関数に代えてロバストなLγ_p損失を用い、条件付きに依存する変分族を活用することで、100行未塔のPythonコードで、複数のベンチマークにおいてテスト尤度とRMSEの両面で顕著な改善が達成された。

ABSTRACT

This report provides an in-depth overview over the implications and novelty Generalized Variational Inference (GVI) (Knoblauch et al., 2019) brings to Deep Gaussian Processes (DGPs) (Damianou & Lawrence, 2013). Specifically, robustness to model misspecification as well as principled alternatives for uncertainty quantification are motivated with an information-geometric view. These modifications have clear interpretations and can be implemented in less than 100 lines of Python code. Most importantly, the corresponding empirical results show that DGPs can greatly benefit from the presented enhancements.

研究の動機と目的

• モデルの不適合に対する深層ガウス過程（DGPs）のロバスト性を、体系的な不確実性の定量化によって向上させること。
• 情報幾何的枠組みを用いて、一般化変分推論（GVI）をDGPsに適用し、より良い発散モデル化を実現すること。
• 最小限のコードオーヘッドで、スケーラブルかつ実装可能な手法を開発し、DGPの性能を向上させること。
• 大規模なベイジアンモデルにおけるテスト尤度とRMSEに与えるロバスト損失関数（Lγ_p）の影響を評価すること。

提案手法

• 層ごとの条件付き依存関係を符号化する条件付きに依存する変分族を用いて、DGPsに一般化変分推論（GVI）を適用する。
• q({F^l}, {U^l}) = ∏_{l=1}^L p(F^l|U^l, F^{l-1}, Z^{l-1}) × q(U^l) という変分族を採用し、q(U^l) = N(μ^l, S^l) として、後退事後分布の近似を容易にする。
• ミニバッチサンプリングと再パラメータライゼーションを用いた二重スチュアティック最適化により、エビデンス下限（ELBO）を効率的に最適化する。
• 正の値を保証し、数値安定性を向上させるために、正規尤度関数から導出されたロバストな損失関数 Lγ_p(θ, x_i) を導入する。
• 誘導点とカーネル関数を用いて、事後分布の平均 μ^l と共分散 Σ^l の閉形式表現を導出し、スケーラブルな計算を可能にする。
• 次元ごとに異なる長さスケールを有するRBFカーネルとホワイトナイズド誘導点を用いることで、最適化の安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GVIは、モデルの不適合下でも深層ガウス過程におけるロバスト性を向上させることができるか？
• RQ2 Lγ_pロバスト損失の使用は、DGPsにおける不確実性の定量化と予測性能にどのように影響するか？
• RQ3 GVIによる体系的な発散再結合は、DGPsにおける標準的VIと比較して、より良い一般化をもたらすか？
• RQ4 保守的な不確実性の定量化は、深層ベイジアンモデルにおける予測性能をどの程度劣化させるか？

主な発見

• 提案手法であるLγ_p損失を用いたGVIベースのDGPは、すべてのベンチマークデータセットにおいて、標準的VIと比較して顕著に低いテスト尤度とRMSEを達成した。
• ワインデータセットでは、最良のGVI設定により、テスト尤度が0.94から0.91に低下し、RMSEが6.8から6.6に低下した。
• ナウバルデータセットでは、テスト尤度が1.01から0.99に低下し、RMSEが0.5から0.4に低下し、より高いロバスト性が示された。
• プロテインデータセットでは、テスト尤度が0.63から0.62に低下し、RMSEが2.75から2.70に低下し、一貫した改善が得られた。
• 結果から、不確実性の定量化をあまりに保守的に行うと、テスト性能が向上せず、むしろ劣化する可能性があることが示された。これは、平均関数の適応性が分散の増大よりも優位であることを示唆している。
• わずかなコード変更で顕著な性能向上が達成され、SalimbeniとDeisenroth [27] の実装を100行未塔のPythonコードで拡張した。