[論文レビュー] Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds

David Reeb, Andreas Doerr+2 more|arXiv (Cornell University)|Oct 29, 2018

Gaussian Processes and Bayesian Inference被引用数 21

ひとこと要約

本稿では、尤度を最大化するのではなく、PAC-Bayesian一般化境界を直接最小化することにより、ガウス過程（GPs）およびそのスパース近似を訓練するための新規手法を提案する。このアプローチにより、一般化保証が著しくタイトかつ頑健になり、特に誘導点の数が増加する際、回帰ベンチマークにおいて標準的手法を上回る性能を発揮する。

ABSTRACT

Gaussian Processes (GPs) are a generic modelling tool for supervised learning. While they have been successfully applied on large datasets, their use in safety-critical applications is hindered by the lack of good performance guarantees. To this end, we propose a method to learn GPs and their sparse approximations by directly optimizing a PAC-Bayesian bound on their generalization performance, instead of maximizing the marginal likelihood. Besides its theoretical appeal, we find in our evaluation that our learning method is robust and yields significantly better generalization guarantees than other common GP approaches on several regression benchmark datasets.

研究の動機と目的

• 安全に重要な応用分野におけるガウス過程の厳密な性能保証の欠如に対処すること。
• 多くのハイパーパrameterを伴う尤度最大化の限界を克服し、過学習を回避すること。
• 回帰設定において、一般化境界の直接最適化を可能にし、このような境界がまだ十分に調査されていない分野に適用すること。
• スパースGP近似の計算効率と理論的裏付けのある性能保証を統合すること。
• PAC-Bayesianフレームワーク内でのKLダイバージェンスの解析的計算を通じて、よりタイトで分布に依存しない一般化境界をもたらす訓練目的を構築すること。

提案手法

• 真のリスク $ R(Q) $ のPAC-Bayesian上界 $ B(Q) $ を最小化することで、分布に依存しない保証を確保するため、有界な損失関数を用いる。
• GP事後分布と事前分布間のKLダイバージェンスの解析的取り扱いの容易さを活用し、境界内のペナルティ項を正確に計算可能にする。
• パrameterの種別を明確にし、ハイパーパrameter、誘導入力、自由形式パrameterのみがKLペナルティに寄与し、観測ノイズは寄与しない。
• Pinskerの不等式のような緩い代替手法よりも、よりタイトな境界を得るために逆二項KLダイバージェンスを用いる。
• 完全およびスパースGPモデル（DTC、FITC、VFE）に適用可能であり、理論的保証を伴うPAC-Bayes学習が可能になる。
• ハイパーパrameterと誘導点を同時に最適化することで、エンドツーエンドの訓練目的を最適化する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesian境界は、評価のためではなく、回帰におけるガウス過程の訓練に効果的に用いることができるか？
• RQ2 尤度最大化による標準的手法と比較して、PAC-Bayesian境界を最小化することで、より良い一般化性能が得られるか？
• RQ3 本手法はデータセットサイズおよび誘導点数の増加に伴い、どのようにスケーリングするか？
• RQ4 特に高次元または複雑な回帰タスクにおいて、既存のGPアプローチよりもタイトで頑健な一般化境界を達成できるか？
• RQ5 Pinskerの不等式のような緩い境界と比較して、逆二項KLダイバージェンスの使用は境界のタイトさを向上させるか？

主な発見

• 本手法（kl-PAC-SGPおよびsqrt-PAC-SGP）は、標準的手法と比較して一般化リスク境界が著しく改善され、しばしば2倍以上の向上を示す。
• 誘導点数の増加に伴い一般化保証が向上する唯一の手法であり、モデル容量と境界のタイトさの直接的な関係を示している。
• 標準的手法と同等の計算スケーリングを維持しながら、頑健な最適化行動を示し、大規模データセットへの適用が可能である。
• kin40kおよびsarcosデータセットでは、それぞれテストMSEが0.035および0.010に達し、対応するリスク境界は0.04未満に抑えられ、VFEやFITCを上回った。
• 本手法では、境界内のKLダイバージェンス項が一貫して低く抑えられており、事前分布と事後分布の整合性が良好であることを示している。
• 学習された観測ノイズパラメータ $ \sigma_n^2 $ は良好にキャリブレーションされており、合成設定では真のノイズレベルに近い値を示し、信頼性の高い不確実性評価を示している。