[論文レビュー] PAC-Bayes, MAC-Bayes and Conditional Mutual Information: Fast rate bounds that handle general VC classes

Peter Grünwald, Thomas Steinke+1 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Algorithms参考文献 35被引用数 6

ひとこと要約

本稿は、任意のVCクラスを扱える統一的なフレームワークを導入し、条件付きPAC-Bayesianおよび相互情報量(MI)一般化境界を提示する。これは、ベルンシュタイン条件の下で$O((\mathrm{KL}/n)^\gamma)$（$\gamma > 1/2$）の高速収束率を達成する。また、指数的凸損失（$\gamma = 1$）の場合も含む。このアプローチでは、訓練データとゴーストサンプルの両方に条件付けられた事前分布を用いることで、よりタイトでデータ依存の境界を実現し、標準的なPAC-BayesianおよびMI手法の限界を克服する。

ABSTRACT

We give a novel, unified derivation of conditional PAC-Bayesian and mutual information (MI) generalization bounds. We derive conditional MI bounds as an instance, with special choice of prior, of conditional MAC-Bayesian (Mean Approximately Correct) bounds, itself derived from conditional PAC-Bayesian bounds, where `conditional' means that one can use priors conditioned on a joint training and ghost sample. This allows us to get nontrivial PAC-Bayes and MI-style bounds for general VC classes, something recently shown to be impossible with standard PAC-Bayesian/MI bounds. Second, it allows us to get faster rates of order $O \left(({ ext{KL}}/n)^γ ight)$ for $γ> 1/2$ if a Bernstein condition holds and for exp-concave losses (with $γ=1$), which is impossible with both standard PAC-Bayes generalization and MI bounds. Our work extends the recent work by Steinke and Zakynthinou [2020] who handle MI with VC but neither PAC-Bayes nor fast rates, the recent work of Hellström and Durisi [2020] who extend the latter to the PAC-Bayes setting via a unifying exponential inequality, and Mhammedi et al. [2019] who initiated fast rate PAC-Bayes generalization error bounds but handle neither MI nor general VC classes.

研究の動機と目的

• 標準的なPAC-Bayesianおよび相互情報量境界が、任意のVCクラスに対して非自明な一般化誤差境界を提供できないという長年の限界を解消すること。
• 従来、特定の損失関数やアルゴリズムに限定されていた高速収束境界を、条件付きでデータに依存する事前分布のメカニズムを用いて、一般のVCクラスへと拡張すること。
• 条件付き期待値と指数的確率不等式(ESIs)を用いて、条件付きPAC-BayesianおよびMIスタイルの境界を統一的な理論的枠組みで統合すること。
• ベルンシュタイン条件の下で$O((\mathrm{KL}/n)^\gamma)$（$\gamma > 1/2$）の高速収束率、特に指数的凸損失では$\gamma = 1$を達成する。これは標準的手法では達成できない。

提案手法

• 訓練データとゴーストサンプルの両方に条件付けられた事前分布を用いることで、条件付きPAC-Bayesian境界を導出。これにより、後験分布の推定がより柔軟かつタイトになる。
• 標準的なPAC-Bayesian境界の一般化として、補助的データに依存する可能性を許容する、新規の条件付きMAC-Bayesian境界を導入。
• 指数的確率不等式(ESIs)を用いて、高確率境界と期待値ベースの境界を統一的に表現。これにより、一般化誤差境界の洗練された導出が可能になる。
• 特定の事前分布を選択することで、条件付きMI境界が条件付きMAC-Bayesian境界の特別な場合として導かれることが示される。
• 条件付き構造を活用し、ベルンシュタイン条件の下で高速収束率を導出。収束率の指数$\gamma$は損失関数の曲率に依存する。
• Gibbsアルゴリズムに圧縮に基づく事前分布を適用し、ベースアルゴリズムがERMでない場合でも高速収束率を達成する境界を導出。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesianおよび相互情報量一般化境界を、標準的手法が知られている不可能性結果に直面する任意のVCクラスへと拡張可能か？
• RQ2 条件付き事前分布を用いることで、一般のVCクラスに対して$O((\mathrm{KL}/n)^\gamma)$（$\gamma > 1/2$）の高速収束率を達成可能か？
• RQ3 条件付きMAC-Bayesian定式化を通じて、条件付きPAC-BayesianおよびMIスタイルの境界を統一する単一の理論的枠組みを構築可能か？
• RQ4 得られた境界を、真のリスクや最適な仮説の知識を必要としない完全に経験的なものにできるか？
• RQ5 解析の結果、レムマ1が示唆するように、このフレームワークを有界でない、サブガウス型の損失へと拡張可能か？

主な発見

• 本稿は、条件付き事前分布を用いることで、任意のVCクラスに対して非自明な一般化境界が可能であることを確立。これは、標準的なPAC-BayesianおよびMI境界の主要な限界を解消する。
• ベルンシュタイン条件の下で$O((\mathrm{KL}/n)^\gamma)$（$\gamma > 1/2$）の高速収束率を達成。特に指数的凸損失では$\gamma = 1$を達成。これは標準的なPAC-BayesianまたはMI手法では達成できない。
• 条件付きMI境界が、提示された条件付きMAC-Bayesianフレームワークの特別な場合であることが示され、2つの主要な一般化パラダイムが統合された。
• Gibbsアルゴリズムに圧縮に基づく事前分布を適用した場合、ベースアルゴリズムがERMでない場合でも、高速収束率を達成する境界が得られる。
• デバイアス補正技術を組み合わせることで、ベルンシュタイン条件の下で境界が完全に経験的になることが示され、Mhammediら（2019年）の先行研究が示唆する通りである。
• 本手法により、データ依存の事前分布を許容し、KLダイバージェンス項のより厳密な制御を可能にする。これは、深層学習における一般化の分析に新たな道を開く。