[论文解读] PAC-Bayes Un-Expected Bernstein Inequality

Zakaria Mhammedi, Peter Grünwald+1 more|arXiv (Cornell University)|May 31, 2019

Machine Learning and Algorithms被引用 8

一句话总结

本文提出了一种新颖的PAC-Bayesian泛化界，用二阶项 $V_n$ 替代了标准的 $\sqrt{L_n \cdot \text{KL}/n}$ 复杂度项，该 $V_n$ 项在算法稳定性下趋于零，从而在满足Bernstein/Tsybakov条件时实现更快的收敛速度。关键创新在于提出了一种新的集中不等式，将 $X^2$ 移出期望之外，显著提升了合成数据集和UCI数据集上的界紧度，尤其当 $L_n$ 保持非零时效果更明显。

ABSTRACT

We present a new PAC-Bayesian generalization bound. Standard bounds contain a $\sqrt{L_n \cdot \KL/n}$ complexity term which dominates unless $L_n$, the empirical error of the learning algorithm's randomized predictions, vanishes. We manage to replace $L_n$ by a term which vanishes in many more situations, essentially whenever the employed learning algorithm is sufficiently stable on the dataset at hand. Our new bound consistently beats state-of-the-art bounds both on a toy example and on UCI datasets (with large enough $n$). Theoretically, unlike existing bounds, our new bound can be expected to converge to $0$ faster whenever a Bernstein/Tsybakov condition holds, thus connecting PAC-Bayesian generalization and {\em excess risk\/} bounds---for the latter it has long been known that faster convergence can be obtained under Bernstein conditions. Our main technical tool is a new concentration inequality which is like Bernstein's but with $X^2$ taken outside its expectation.

研究动机与目标

• 为解决标准PAC-Bayesian界依赖于 $L_n$（经验误差）的局限性，当 $L_n$ 不趋于零时收敛速度慢的问题。
• 开发一种新泛化界，通过用在 $L_n$ 不为零时仍可较小的稳定性相关二阶项 $V_n$ 替代 $L_n$，以利用算法稳定性。
• 通过证明新界在Bernstein/Tsybakov条件下收敛速度提升，建立PAC-Bayesian泛化界与过失风险界之间的联系。
• 提出一种新型集中不等式——“意外Bernstein”（unexpected Bernstein），其将 $X^2$ 移出期望之外，从而实现对类似方差项的更紧控制。

提出的方法

• 提出新PAC-Bayesian界（定理3），用 $\sqrt{V_n \cdot \text{KL}/n}$ 替代标准的 $\sqrt{L_n \cdot \text{KL}/n}$ 项，其中 $V_n$ 为二阶稳定性度量。
• 引入一种新型集中不等式（引理13），称为“意外Bernstein”，其将 $X^2$ 移出期望之外，从而实现对方差类项的更紧控制。
• 将 $V_n$ 定义为数据相关的稳定性度量：衡量在完整数据集和部分数据集（如前50%数据）上训练的模型预测结果之间的相似性，以捕捉算法稳定性。
• 在 $V_n$ 中使用在线后验 $Q(Z_{>i})$ 和 $Q(Z_{<j})$，以实现向全样本后验的收敛，从而在实践中提升界紧度。
• 将该界应用于合成数据集和真实世界UCI数据集，并与最先进界（包括Maurer、TS和Catoni）进行比较。
• 使用基于前半部分数据的知情先验，以提升基线比较的公平性，尤其对Maurer和TS界更为显著。

实验结果

研究问题

• RQ1 能否通过用基于稳定性的二阶项 $V_n$ 替代经验误差 $L_n$，来改进PAC-Bayesian泛化界？
• RQ2 当满足Bernstein或Tsybakov条件时，新界是否比现有PAC-Bayesian界收敛更快？
• RQ3 一种将 $X^2$ 移出期望的新型集中不等式，是否能在实际中产生更紧的界？
• RQ4 在真实世界数据集上，当 $L_n$ 保持非零时，新界与最先进界相比表现如何？
• RQ5 算法稳定性（通过 $V_n$ 衡量）在多大程度上能提升泛化界紧度？

主要发现

• 所提界在合成数据集和UCI数据集上均持续优于最先进PAC-Bayesian界，尤其在 $n$ 较大时表现更优，即使 $L_n \approx 0.03$（如MNIST类设置）。
• 在UCI数据集上，新界优于Catoni和TS界，绝对值改善范围达5%至20%（如在 kr-vs-kp 数据集上，0.107 vs. 0.123）。
• 当满足Bernstein/Tsybakov条件时，界中的 $\sqrt{V_n \cdot \text{KL}/n}$ 项收敛速度优于 $\sqrt{L_n \cdot \text{KL}/n}$，从而将PAC-Bayesian界与过失风险理论联系起来。
• 实验表明，即使 $L_n$ 较大（如 $L_n \approx 0.03$），$V_n$ 仍可接近零，说明该界能捕捉到以往界无法捕捉的稳定性。
• 使用知情先验可显著提升基线界（如Maurer界）的性能，但所提界仍表现更优，且随着 $n$ 增大优势更明显。
• 理论分析表明，新界的收敛速率依赖于Tsybakov指数 $\beta$，随着 $\beta$ 增大而改善，与过失风险界的行为一致。