[論文レビュー] The Promises and Pitfalls of Deep Kernel Learning

Sebastian W. Ober, Carl Edward Rasmussen+1 more|arXiv (Cornell University)|Feb 24, 2021

Gaussian Processes and Bayesian Inference参考文献 53被引用数 14

ひとこと要約

この論文は、深層カーネル学習（DKL）を調査し、一般的に過学習を防ぐと信じられている周辺尤度最適化が、過パrameter化されたDKLモデルでは逆に汎化性能を悪化させることを明らかにした。著者らは、ハミルトニアン・モンテカルロ（HMC）やSGLDによるニューラルネットワーク重みの完全ベイズ的取り扱いが、標準的なDKLや決定論的ニューラルネットワークよりも不確実性のキャリブレーションとテスト性能で優れていることを示した。

ABSTRACT

Deep kernel learning (DKL) and related techniques aim to combine the representational power of neural networks with the reliable uncertainty estimates of Gaussian processes. One crucial aspect of these models is an expectation that, because they are treated as Gaussian process models optimized using the marginal likelihood, they are protected from overfitting. However, we identify situations where this is not the case. We explore this behavior, explain its origins and consider how it applies to real datasets. Through careful experimentation on the UCI, CIFAR-10, and the UTKFace datasets, we find that the overfitting from overparameterized maximum marginal likelihood, in which the model is "somewhat Bayesian", can in certain scenarios be worse than that from not being Bayesian at all. We explain how and when DKL can still be successful by investigating optimization dynamics. We also find that failures of DKL can be rectified by a fully Bayesian treatment, which leads to the desired performance improvements over standard neural networks and Gaussian processes.

研究の動機と目的

• 深層カーネル学習（DKL）が周辺尤度最適化によって過学習を信頼性を持って防いでいるかどうかを調査すること。
• 特に多くのハイパーパrameterを有する過パrameter化された設定において、DKLが過学習のために失敗する条件を同定すること。
• ニューラルネットワーク重みに対する完全ベイズ的取り扱いが、標準的なDKLの限界を克服できるかどうかを評価すること。
• UCI、CIFAR-10、UTKFaceを含む多様なデータセットにおいて、DKL、標準的なニューラルネットワーク、完全ベイズ的DKLの性能を比較すること。
• ハイパーパrameterの次元が高次元である場合に、対数周辺尤度がモデル選択基準として信頼できるかどうかを評価すること。

提案手法

• 1次元のトイデータ、UCIデータセット、CIFAR-10、UTKFaceに対してDKLを実験的に評価し、過学習と不確実性キャリブレーションを分析する。
• ハミルトニアン・モンテカルロ（HMC）を用いて、ニューラルネットワーク重みとGPハイパーパrameterの完全事後分布からのサンプリングを行い、完全ベイズ推論の有効性を検証する。
• スチュアティック・グラディエント・ランジュヴィアン・ダイナミクス（SGLD）を適用し、CIFAR-10 や UTKFace などの大規模データセットへのベイズ推論のスケーリングを実現する。
• テストRMSE、対数尤度（LL）、期待キャリブレーション誤差（ECE）、テスト精度などの指標を用いて性能を比較する。
• ニューラルネットワーク重みをハイパーパrameterとして扱い、対数周辺尤度（LML）をエンドツーエンドで最適化することでDKLモデルを訓練する。
• 入力を特徴空間にマップするニューラルネットワークを用い、その出力を学習されたカーネルを有するガウス過程の入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 過パrameter化されたモデルにおいて、周辺尤度最適化がDKLで過学習を信頼性を持って防いでいると一般的に想定されているが、本当にそうなのか？
• RQ2 DKLが標準的な決定論的ニューラルネットワークよりも過学習がひどくなる条件は何か？
• RQ3 DKLにおけるニューラルネットワーク重みに対する完全ベイズ的取り扱いが、標準DKLで観察された過学習問題を解消できるか？
• RQ4 不確実性キャリブレーションと予測精度の観点から、完全ベイズ的DKLの性能は、標準DKLおよび決定論的ニューラルネットワークと比べてどうなるか？
• RQ5 ハイパーパrameterの数が多い状況において、対数周辺尤度がDKLにおけるモデル選択基準として信頼できるか？

主な発見

• 最大周辺尤度による最適化がなされたDKLモデルは、確率的正則化が限定的である場合、標準的な決定論的ニューラルネットワークよりも過学習が深刻になることがある。
• DKLにおける過学習は、意味的に関連するデータポイントだけでなく、すべてのデータポイント間の相関を促進する周辺尤度の性質に起因しており、その結果、一般化性能が低下する。
• 1次元のトイデータセットにおいてHMCを用いた完全ベイズ推論は、過学習を完全に解消し、外側の領域でさえも適切にキャリブレートされた不確実性推定を実現した。
• SGLDを用いた完全ベイズ的DKLは、UTKFaceおよびCIFAR-10においてテスト対数尤度を向上させ、期待キャリブレーション誤差（ECE）を低減し、標準的なDKLおよびベイズ的ニューラルネットワークを上回った。
• UTKFaceでは、完全ベイズ的SVDKLがテストRMSE 0.16±0.00、テスト対数尤度 0.42±0.03を達成し、決定論的NN（RMSE 0.16±0.00、LL 0.39±0.04）を上回った。
• CIFAR-10では、完全ベイズ的SVDKLがテスト対数尤度 -1.11±0.02、ECE 0.13±0.00を達成し、決定論的NN（LL: -1.89±0.02、ECE: 0.18±0.00）を著しく上回った。