[论文解读] A Note on the PAC Bayesian Theorem

Andreas Maurer|ArXiv.org|Nov 30, 2004

Machine Learning and Algorithms参考文献 8被引用 97

一句话总结

本文通过推导 [0,1]-取值的独立同分布随机变量的改进指数矩不等式，收紧了 PAC-Bayesian 定理，将泛化界中对样本大小的对数依赖从 ln(2n) 降低至 ln(2√n)。主要贡献在于：在不增加计算成本的前提下，将对数项减半，显著提升了学习算法的置信区间。

ABSTRACT

We prove general exponential moment inequalities for averages of [0,1]-valued iid random variables and use them to tighten the PAC Bayesian Theorem. The logarithmic dependence on the sample count in the enumerator of the PAC Bayesian bound is halved.

研究动机与目标

• 通过减少置信区间中对数项，改进 PAC-Bayesian 泛化界。
• 推导 [0,1]-取值独立同分布随机变量的经验均值与真实均值之间 Kullback-Leibler 散度的更紧指数矩不等式。
• 证明在上界中对 n 的平方根依赖对伯努利变量而言是最优的。
• 将改进后的边界应用于 PAC-Bayesian 定理，得到更紧的泛化误差界，且失败概率更低。

提出的方法

• 推导出 n 倍真实均值与经验均值之间 KL 散度的矩生成函数的上界：当 n ≥ 8 时，E[exp(n KL(M(X), μ))] ≤ 2√n。
• 建立匹配的下界：当 n ≥ 2 时，E[exp(n KL(M(X), μ))] ≥ √n，表明 √n 依赖关系是最优的。
• 利用 Jensen 不等式以及 KL 散度和指数函数的凸性，对 PAC-Bayesian 框架中的后验依赖期望进行上界控制。
• 对矩生成函数应用马尔可夫不等式，推导出后验与真实风险之间 KL 散度的高概率界。
• 通过基于经验损失的指数加权引入数据依赖后验 Q_S，并利用矩不等式控制尾部概率。
• 通过证明将 ln(2n) 替换为 ln(2√n) 可使固定 n 下的失败概率 δ 降低 √n 倍，表明改进是非平凡的。

实验结果

研究问题

• RQ1 PAC-Bayesian 边界中的对数项 ln(2n) 是否可在不增加 KL 散度惩罚的前提下被减少？
• RQ2 [0,1]-取值随机变量的 KL 散度矩生成函数中，对 n 的最优依赖阶数是什么？
• RQ3 上界中的 √n 项是否紧致，能否进一步改进？
• RQ4 改进后的边界能否用于推导学习理论中更紧的泛化误差界？

主要发现

• 当所有 n ≥ 8 且所有 [0,1]-取值独立同分布随机变量的均值为 μ 时，上界 E[exp(n KL(M(X), μ))] ≤ 2√n 成立。
• 当随机变量为非平凡的伯努利(μ)分布且 μ ∈ (0,1) 时，对所有 n ≥ 2，下界 E[exp(n KL(M(X), μ))] ≥ √n 成立。
• 对于伯努利变量，期望 E[exp(n KL(M(X), μ))] 与 μ 无关，仅依赖于 n，证实了该边界的紧致性适用于所有偏差情况。
• 改进后的 PAC-Bayesian 边界用 ln(2√n) 替代了 ln(2n)，在固定 n 下使失败概率 δ 降低 √n 倍。
• 当 n = 10,000 时，新边界在失败概率 < 1/10,000 的条件下可达到与原始边界在失败概率 < 1/100 时相同的泛化误差。
• 在置信度方面改进显著；目前尚无已知方法可在不增加 KL 惩罚的前提下消除对数项，而增加 KL 惩罚会实际削弱边界。