[论文解读] Empirical Bernstein Bounds and Sample Variance Penalization

Andreas Maurer, Massimiliano Pontil|ArXiv.org|Jul 21, 2009

Machine Learning and Algorithms参考文献 9被引用 218

一句话总结

本文提出样本方差惩罚（SVP），一种新颖的学习方法，通过将经验方差纳入风险最小化，从而提升泛化性能。利用改进的经验伯恩斯坦不等式，作者证明在特定条件下，SVP 的超额风险达到 $1/n$ 阶，显著优于经验风险最小化（ERM）的 $1/\sqrt{n}$ 阶。

ABSTRACT

We give improved constants for data dependent and variance sensitive confidence bounds, called empirical Bernstein bounds, and extend these inequalities to hold uniformly over classes of functionswhose growth function is polynomial in the sample size n. The bounds lead us to consider sample variance penalization, a novel learning method which takes into account the empirical variance of the loss function. We give conditions under which sample variance penalization is effective. In particular, we present a bound on the excess risk incurred by the method. Using this, we argue that there are situations in which the excess risk of our method is of order 1/n, while the excess risk of empirical risk minimization is of order 1/sqrt/{n}. We show some experimental results, which confirm the theory. Finally, we discuss the potential application of our results to sample compression schemes.

研究动机与目标

• 为监督学习中的泛化误差开发更紧致、与方差相关的置信区间。
• 解决经验风险最小化（ERM）的局限性，即即使数据方差较低，其超额风险率仍为 $1/\sqrt{n}$。
• 提出并分析样本方差惩罚（SVP），一种显式考虑损失函数经验方差的方法。
• 为 SVP 建立理论保证，包括在低方差条件下优于 ERM 的超额风险界。
• 将经验伯恩斯坦不等式扩展至样本压缩方案，实现更紧致的泛化界。

提出的方法

• 推导出与方差相关且依赖数据的改进经验伯恩斯坦不等式，替代泛化分析中传统的霍夫丁不等式。
• 引入样本方差惩罚（SVP），定义为最小化经验风险与一个按置信参数 $\lambda$ 缩放的方差项的组合。
• 通过对所有可能的 $d$ 大小子样本使用并集界，推导出对假设空间的统一界，从而适用于样本压缩方案。
• 将 SVP 估计器定义为在子样本 $\mathbf{X}[I]$ 上训练的假设，其最小化 $P_{I^c}(A_{\mathbf{X}[I]}) + \lambda \sqrt{V_{I^c}(A_{\mathbf{X}[I]})}$，其中 $I$ 是大小为 $d$ 的索引子集。
• 对所有可能的 $d$-子样本集合 $\mathcal{C}$ 均匀应用经验伯恩斯坦不等式，以界定向 SVP 的超额风险。
• 建立一个依赖于最优假设真实方差和子样本数量对数的相对超额风险界。

实验结果

研究问题

• RQ1 与经典的霍夫丁型界相比，与方差相关的置信区间是否能带来更好的泛化性能？
• RQ2 在何种条件下，样本方差惩罚（SVP）的超额风险率优于经验风险最小化（ERM）？
• RQ3 经验伯恩斯坦不等式能否扩展至在样本大小多项式增长的函数类上保持一致成立？
• RQ4 当损失函数方差较低时，SVP 与 ERM 在超额风险方面有何比较？
• RQ5 经验伯恩斯坦不等式能否有效应用于样本压缩方案，以改进泛化保证？

主要发现

• 本文推导出改进的经验伯恩斯坦不等式常数，其既依赖数据又与方差相关。
• 在低方差条件下，样本方差惩罚（SVP）被证明可实现 $1/n$ 阶的超额风险，显著优于 ERM 的 $1/\sqrt{n}$ 阶。
• 理论分析表明，SVP 的超额风险界为 $\sqrt{\frac{V(A_{\mathbf{X}[I^*]}, \mu) \ln(6|\mathcal{C}|/\delta)}{n-d}} + \frac{14 \ln(6|\mathcal{C}|/\delta)}{3(n-d-1)}$，其中 $V$ 为假设的真实方差。
• 当最优假设方差较低且子样本大小 $d$ 相对于 $n$ 较小时，该方法表现更优，产生稀疏且稳定的解。
• 实验结果证实，在损失函数方差较低的场景中，SVP 显著优于 ERM，验证了理论改进的有效性。
• 将经验伯恩斯坦不等式应用于样本压缩方案，可获得更紧致的泛化界，尤其在最优假设的真实风险集中时效果更显著。