[论文解读] A Limitation of the PAC-Bayes Framework

Roi Livni, Shay Moran|arXiv (Cornell University)|Jun 24, 2020

Machine Learning and Algorithms参考文献 34被引用 4

一句话总结

本文通过证明即使一维阈值分类器在 O(log(1/δ)/ε) 个样本下可高效 PAC 学习，但任何 PAC-Bayes 分析都无法为学习该类的算法提供非平凡的一般化界，从而揭示了 PAC-Bayes 框架的根本局限性。关键结果是：对于任意此类算法，均存在一个可实现分布，使得 PAC-Bayes 界在任意先验选择或算法设计下均变得任意大。

ABSTRACT

PAC-Bayes is a useful framework for deriving generalization bounds which was introduced by McAllester ('98). This framework has the flexibility of deriving distribution- and algorithm-dependent bounds, which are often tighter than VC-related uniform convergence bounds. In this manuscript we present a limitation for the PAC-Bayes framework. We demonstrate an easy learning task that is not amenable to a PAC-Bayes analysis. Specifically, we consider the task of linear classification in 1D; it is well-known that this task is learnable using just $O(\log(1/δ)/ε)$ examples. On the other hand, we show that this fact can not be proved using a PAC-Bayes analysis: for any algorithm that learns 1-dimensional linear classifiers there exists a (realizable) distribution for which the PAC-Bayes bound is arbitrarily large.

研究动机与目标

• 识别并展示 PAC-Bayes 框架在分析可学习概念类时的根本局限性。
• 证明即使是一个简单且可高效学习的类——1D 阈值——也无法通过非平凡的 PAC-Bayes 界进行分析。
• 确立该局限性在允许任意、可能依赖于分布的先验以及任意学习算法时依然成立。
• 凸显 PAC 学习能力与 PAC-Bayes 可适配性之间的脱节，挑战该框架普遍适用性的假设。
• 推动对替代框架的进一步探索，以分析稳定或基于隐式偏差的学习算法的一般化行为。

提出的方法

• 构建一个 1D 阈值示例的可实现分布，使得任何由学习算法输出的 Gibbs 分类器的 PAC-Bayes 界均无界。
• 基于区间结构和奇数索引点的概率论论证，以界定误差事件的概率。
• 应用受 Alon 等人（2019）关于差分隐私学习启发的 KL 散度下界技术，推导后验与先验之间 KL 散度的下界。
• 通过对一组候选阈值进行基于采样的论证，表明期望 KL 散度必须随域大小增长。
• 利用一致经验风险最小化器（ERMs）对阈值而言已足够实现 PAC 学习，但其在 PAC-Bayes 分析下仍会失败的事实。
• 证明界值的发散为 Ω((q₂−q₁)²b/log b)，表明其随域大小增长，无法保持一致地小。

实验结果

研究问题

• RQ1 PAC-Bayes 框架能否为一维阈值分类器类提供非平凡的一般化界？
• RQ2 是否存在一种针对 1D 阈值的学习算法，即使使用依赖于分布的先验，也能通过非平凡的 PAC-Bayes 界进行认证？
• RQ3 1D 阈值存在高度高效的 PAC 学习算法，是否意味着 PAC-Bayes 也能认证其一般化性能？
• RQ4 PAC-Bayes 框架在捕捉一致、低复杂度学习者的一般化行为方面存在何种结构性局限？
• RQ5 PAC-Bayes 分析能否扩展以捕捉稳定或插值算法中快速收敛、依赖于分布的学习率？

主要发现

• 一维阈值类的 PAC 学习样本复杂度为 O(log(1/δ)/ε)，且与域大小无关。
• 对于任何学习 1D 阈值的算法，均存在一个可实现分布，使得 PAC-Bayes 界为任意大。
• 即使使用任意先验分布（包括依赖于数据分布的先验）时，该局限性依然成立。
• PAC-Bayes 界中的 KL 散度项随 Ω((q₂−q₁)²b/log b) 增长，表明在大域上存在无界发散。
• 该结果意味着，没有任何 PAC-Bayes 一般化界能匹配 1-Nearest-Neighbor 或其他一致学习器在某些可实现分布上的性能。
• 该框架无法捕捉插值算法（如 1-Nearest-Neighbor）在该类上的泛化能力，尽管其在实际中表现强劲。