[論文レビュー] PAC-Bayes Analysis Beyond the Usual Bounds

Omar Rivasplata, Ilja Kuzborskij+2 more|arXiv (Cornell University)|Jun 23, 2020

Machine Learning and Algorithms参考文献 59被引用数 5

ひとこと要約

本稿は、従来の仮定を越えてPAC-Bayes分析を拡張する。確率的カーネルに対する一般化されたPAC-Bayes不等式を導入し、有界な損失、i.i.d.データ、固定事前分布を要件としない境界を可能にする。データに依存する事前分布を用いて、有界でない損失（例えば二乗損失）に対する新しい境界を導出し、部分ガウス分布または部分指数分布の損失モーメントのもとで、指数モーメントの制御が依然として可能であることを示す。これにより、一般化ギャップの境界がO(1/√n)の収束速度を達成する。

ABSTRACT

We focus on a stochastic learning model where the learner observes a finite set of training examples and the output of the learning process is a data-dependent distribution over a space of hypotheses. The learned data-dependent distribution is then used to make randomized predictions, and the high-level theme addressed here is guaranteeing the quality of predictions on examples that were not seen during training, i.e. generalization. In this setting the unknown quantity of interest is the expected risk of the data-dependent randomized predictor, for which upper bounds can be derived via a PAC-Bayes analysis, leading to PAC-Bayes bounds. Specifically, we present a basic PAC-Bayes inequality for stochastic kernels, from which one may derive extensions of various known PAC-Bayes bounds as well as novel bounds. We clarify the role of the requirements of fixed 'data-free' priors, bounded losses, and i.i.d. data. We highlight that those requirements were used to upper-bound an exponential moment term, while the basic PAC-Bayes theorem remains valid without those restrictions. We present three bounds that illustrate the use of data-dependent priors, including one for the unbounded square loss.

研究の動機と目的

• 有界損失、i.i.d.データ、固定事前分布といった標準的仮定を緩和するPAC-Bayesフレームワークの開発。
• 訓練データから仮説空間への確率的カーネルとしての仮説に関するデータに依存する分布の形式的定式化。
• 緩いモーメント条件の下で、二乗損失などの有界でない損失関数に対する一般化境界の導出。
• 仮定の役割の明確化。PAC-Bayes分析において、それらが主に指数モーメントを上界で抑えるために用いられることを示し、コア定理を無効にするものではないこと。
• データに依存する事前分布と部分ガウス分布／部分指数分布の損失モーメント条件のもとで、タイトな一般化境界が実現可能であることを示す。

提案手法

• 訓練データ空間Sから仮説空間Hへの確率的カーネルとしてのデータに依存する分布の形式的定式化により、確率的予測子の厳密な取り扱いが可能になる。
• 確率的カーネルに対する一般PAC-Bayes不等式の導出。これにより、既知の境界と新しい境界が得られる。
• 指数モーメントの制御のため、モーメント生成関数（MGF）技術を用いる。これは、有界でない損失の一般化ギャップにおいて有効である。
• 二階モーメントE[ℓ(h,Z)²] < ∞が有限であると仮定することで、有界損失の仮定を回避した、有界でない二乗損失の境界を導入。
• データに依存する事前分布を適用し、固定事前分布を必要としない標準PAC-Bayesフレームワークの有効性を示す。
• λの選択により、経験的リスクとKLダイバージェンスのトレードオフを最適化し、一般化ギャップ境界がO(1/√n)のオーダーとなることを得る。

実験結果

リサーチクエスチョン

• RQ1 有界損失やi.i.d.データの仮定なしにPAC-Bayes境界を導出可能か？
• RQ2 固定事前分布はPAC-Bayes分析において果たす役割は何か？また、データに依存する事前分布に置き換え可能か？
• RQ3 二乗損失のような有界でない損失関数に対して、一般化境界をどのように構築できるか？
• RQ4 指数モーメントを有界性なしに制御できる損失関数の条件は何か？
• RQ5 i.i.d.サンプリングを要件としないで、標準PAC-Bayes定理を確率的カーネルに拡張可能か？

主な発見

• 確率的カーネルに対する一般PAC-Bayes不等式が確立され、有界損失、i.i.d.データ、固定事前分布を要件としない。
• 指数モーメントが従来の仮定で有界でなくても、MGFがモーメント条件により制御できる限り、コアPAC-Bayes定理は依然として有効である。
• sup_h E[ℓ(h,Z)²] < ∞と仮定することで、部分ガウス分布または部分指数分布の損失に対して、有界でない二乗損失のための新しい境界が導出された。
• 得られた一般化ギャップ境界はO(1/√n)のスケーリングを示し、最適なλの選択によりQ_S[L] ≤ Q_S[̂L_S] + 2√(B M / (2n))が得られる。ここでBはKLダイバージェンス、Mは二階モーメントの上限である。
• データに依存する事前分布の使用が実現可能かつ有効であることが示され、境界構造は標準形式を保ちつつ、より柔軟な事前分布設計を可能にする。
• 本稿は、有界損失とi.i.d.データが主に指数モーメントの上界を取るために用いられることを明確にし、それらが根幹の定理を無効にするものではないことを示している。