[論文レビュー] Guided Deep Kernel Learning

Idan Achituve, Gal Chechik+1 more|arXiv (Cornell University)|Feb 19, 2023

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、ニューラルネットワークガウス過程（NNGP）の不確実性推定を活用して、ディープカーネル学習（DKL）モデルの学習をガイドする、新しい手法であるガイドド・ディープカーネル学習（GDKL）を提案する。DKLの事後分布をNNGPの予測分布と一致させることで、GDKLは、DKLのスケーラビリティと一般化性能を維持しつつ、頑健な不確実性評価と過学習の低減を達成する。多様なベンチマークデータセットにおいて、標準的なDKLおよびベースライン手法を上回る性能を発揮する。

ABSTRACT

Combining Gaussian processes with the expressive power of deep neural networks is commonly done nowadays through deep kernel learning (DKL). Unfortunately, due to the kernel optimization process, this often results in losing their Bayesian benefits. In this study, we present a novel approach for learning deep kernels by utilizing infinite-width neural networks. We propose to use the Neural Network Gaussian Process (NNGP) model as a guide to the DKL model in the optimization process. Our approach harnesses the reliable uncertainty estimation of the NNGPs to adapt the DKL target confidence when it encounters novel data points. As a result, we get the best of both worlds, we leverage the Bayesian behavior of the NNGP, namely its robustness to overfitting, and accurate uncertainty estimation, while maintaining the generalization abilities, scalability, and flexibility of deep kernels. Empirically, we show on multiple benchmark datasets of varying sizes and dimensionality, that our method is robust to overfitting, has good predictive performance, and provides reliable uncertainty estimations.

研究の動機と目的

• ディープカーネル学習（DKL）モデルに一般的に見られる過学習と信頼性の低い不確実性推定を解消すること。
• ガウス過程のベイジアンな利点（特に過学習に対する頑健性と正確な不確実性）を維持しつつ、深層ニューラルネットワークの表現力とスケーラビリティを保つこと。
• 無限幅のニューラルネットワーク事前分布（NNGP）を用いてDKL最適化をガイドする学習手順を開発し、一般化性能と不確実性のキャリブレーションを向上させること。
• 標準的な手法（例：誘導点）を用いて、GDKLにおける正確な推論と近似的な推論を両立させ、実用的なスケーラビリティを確保すること。

提案手法

• GDKLは、データ尤度項と、DKL事後分布とNNGP事後分布との間のKLダイバージェンス項を組み合わせた損失関数を最小化することで、DKLモデルを学習する。
• NNGPは、各テストポイントに対して信頼性の高いベイジアン不確実性推定を提供し、これを利用してDKLモデルの予測の信頼性をキャリブレーションする。
• テストセットの各データポイントに対して、DKLモデルの予測分布が、特に不確実性が高い領域でNNGPの事後分布と一致するよう促進される。
• 目的関数は、DKLがラベル情報を取り入れる変分事後分布として機能し、NNGP事前分布によって正則化されるという変分推論の目的関数と同等である。
• 正確な推論と、誘導点による近似的な推論の両方をサポートしており、より大きなデータセットへのスケーラビリティを実現する。
• 学習手順では、NNGP事後分布の計算用に${\mathcal{D}}_1$、DKLモデルの学習用に${\mathcal{D}}_2$ にランダムにデータを分割し、損失は${\mathcal{D}}_2$ に対して計算される。

実験結果

リサーチクエスチョン

• RQ1 無限幅ニューラルネットワーク（NNGP）の不確実性推定を、ディープカーネル学習（DKL）モデルの一般化性能と頑健性の向上に活用できるか？
• RQ2 NNGP事後分布でDKL学習をガイドすることで、特に小規模および中規模データセットにおいて、標準的なDKLと比較して過学習が低減するか？
• RQ3 得られたモデルは、予測性能を維持しつつ、標準的なDKLおよび他の手法と比較してより信頼性の高い不確実性評価を実現できるか？
• RQ4 提案手法はスケーラブルであり、誘導点などの標準的な近似的推論手法と互換性があるか？

主な発見

• GDKLは、標準的なDKLと比較して、特に小規模および中規模データセットにおいて顕著に過学習を低減し、一般化性能が向上することを示した。
• 本手法は優れた不確実性推定を達成しており、予測分布が真の不確実性を的確に反映しており、特に分布外領域で顕著である。
• さまざまな次元とサイズの複数のベンチマークデータセットにおいて、GDKLは予測精度と不確実性評価指標の両面で、標準的なDKLおよびベースライン手法を上回った。
• 提案された目的関数は、変分下界（ELBO）を最大化することと同等であるため、本手法のベイジアン推論における理論的裏付けが裏付けられた。
• NNGP事前分布の使用により、DKLモデルが訓練データポイント同士の相関を高めすぎることを回避でき、先行研究で指摘されたDKL過学習の主な要因を是正できた。