[論文レビュー] Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice

Jonas Rothfuss, Martin Josifoski+2 more|arXiv (Cornell University)|Nov 14, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

この論文では、原理的なメタレベル正則化を可能にする閉形式の最適ハイパーポストリアルを導出するスケーラブルなPAC-BayesianメタラーニングフレームワークPACOHを提案する。これにより、最小限のメタトレーニングタスクで強力な一般化保証が得られる。二重最適化を回避し、変分推論を活用することで、ベイジアンニューラルネットワークおよびガウス過程において、予測精度と不確実性推定の面で最先端の性能を達成し、特に低データ環境下で顕著である。

ABSTRACT

Meta-Learning aims to speed up the learning process on new tasks by acquiring useful inductive biases from datasets of related learning tasks. While, in practice, the number of related tasks available is often small, most of the existing approaches assume an abundance of tasks; making them unrealistic and prone to overfitting. A central question in the meta-learning literature is how to regularize to ensure generalization to unseen tasks. In this work, we provide a theoretical analysis using the PAC-Bayesian theory and present a generalization bound for meta-learning, which was first derived by Rothfuss et al. (2021a). Crucially, the bound allows us to derive the closed form of the optimal hyper-posterior, referred to as PACOH, which leads to the best performance guarantees. We provide a theoretical analysis and empirical case study under which conditions and to what extent these guarantees for meta-learning improve upon PAC-Bayesian per-task learning bounds. The closed-form PACOH inspires a practical meta-learning approach that avoids the reliance on bi-level optimization, giving rise to a stochastic optimization problem that is amenable to standard variational methods that scale well. Our experiments show that, when instantiating the PACOH with Gaussian processes and Bayesian Neural Networks models, the resulting methods are more scalable, and yield state-of-the-art performance, both in terms of predictive accuracy and the quality of uncertainty estimates.

研究の動機と目的

• 少数の関連タスクしか利用できない現実世界の一般的な制限のもとで、メタラーニングにおける過学習を緩和すること。
• 原理的な正則化を通じて未学習タスクへの一般化を保証する理論的根拠に基づいたスケーラブルなメタラーニング手法の開発。
• PAC-Bayesian一般化バウンドを最小化する閉形式の最適ハイパーポストリアル（PACOH）を導出すること。
• 計算コストの高い二重最適化に依存せずに、実用的でスケーラブルなメタラーニングを可能にすること。
• PAC-Bayesian枠組み内でのメタラーニングと個別タスク学習の優位性を実証的に検証すること。

提案手法

• 無限大の損失関数にも適用可能な、メタラーニングに特化した新しいPAC-Bayesian一般化バウンドを導出。回帰および確率的推論への適用範囲を拡張する。
• タスク固有のポストリアルではなく、一般化されたマージナル対数尤度に直接関連付けることでバウンドをタイトにし、最適化を簡素化する。
• メタ一般化誤差の上界を最小化するPAC最適ハイパーポストリアル（PACOH）を閉形式で同定する。
• 従来のPAC-Bayesianメタラーニングにおける扱いにくい二重最適化を、標準的な変分推論に適した確率的最適化問題に置き換える。
• ニューラルネットワークベースの事前分布（PACOH-NN）を用いて、ベイジアンニューラルネットワークおよびガウス過程にPACOHフレームワークを適用し、スケーラブルなメタラーニングを実現する。
• 標準的なベイジアン推論とバンドイットアルゴリズム（UCB、トーマスサンプリング）を用いて、逐次的意思決定タスクにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般化保証の観点から、メタラーニングが個別タスク学習を顕著に上回る条件は何か？
• RQ2 PAC-Bayesian枠組み内で、メタラーニングのための閉形式の最適ハイパーポストリアルを導出可能か？また、それがより良い一般化をもたらすか？
• RQ3 少数のタスクでのみ動作する低データメタラーニング環境下で、提案されたPACOHフレームワークはどのようにスケーリングされ、性能を発揮するか？
• RQ4 PACOHベースの事前分布は、ワクチン設計などの現実世界の逐次的意思決定タスクでどの程度性能を向上させるか？
• RQ5 複雑で高次元の問題において、PACOHベースのモデルの不確実性推定は、標準的な事前分布と比べてどの程度優れているか？

主な発見

• PACOH-UCBおよびPACOH-TSは、MHC-Iペプチド設計タスクにおいて10回未満の反復で近似的に最適なレジットを達成し、標準的なBNNおよびGP事前分布を著しく上回った。
• メタ学習されたPACOH-NN事前分布は、ゼロ中心のガウス事前分布と比較して、わずか5つのメタトレーニングタスクで顕著にレジットを低減し、アレルの間で有効な正の転送が実現した。
• 回帰および分類タスクにおいて、PACOHベースの手法は、ベイジアンニューラルネットワークおよびガウス過程の両方で、予測精度と不確実性推定の質において最先端の性能を達成した。
• 本論文で導出した理論的一般化バウンドは、特に低データ環境下で、個別タスク学習のバウンドよりも実証的にタイトであった。
• 二重最適化を必要とせず、深層ベイジアンネットワークのような複雑なモデルに対しても実用的であるスケーラブルなメタラーニングを可能にした。
• 事例研究により、PACOHは強力で原理的な正則化を提供し、メタトレーニングデータが乏しくても信頼性の高いメタラーニングが可能であることが確認された。