[论文解读] Estimated VC dimension for risk bounds

Daniel J. McDonald, Cosma Rohilla Shalizi+1 more|arXiv (Cornell University)|Nov 15, 2011

Neural Networks and Applications参考文献 7被引用 6

一句话总结

本文利用Vapnik等人（2010）提出的基于模拟的估计方法，建立了估计VC维的高概率集中性界，使得即使在真实VC维解析上难以处理的情况下，也能获得有效的泛化风险界。主要贡献在于构建了一个严格的理论框架，证明了将估计的VC维代入经典VC风险界是合理的，确保了模式识别中经验风险最小化在有限样本下的一致性。

ABSTRACT

Vapnik-Chervonenkis (VC) dimension is a fundamental measure of the generalization capacity of learning algorithms. However, apart from a few special cases, it is hard or impossible to calculate analytically. Vapnik et al. [10] proposed a technique for estimating the VC dimension empirically. While their approach behaves well in simulations, it could not be used to bound the generalization risk of classifiers, because there were no bounds for the estimation error of the VC dimension itself. We rectify this omission, providing high probability concentration results for the proposed estimator and deriving corresponding generalization bounds.

研究动机与目标

• 解决在泛化风险界中使用经验估计的VC维时缺乏理论依据的问题。
• 为Vapnik等人（2010）提出的VC维估计器提供高概率集中性结果。
• 推导依赖于估计VC维而非真实未知值的有限样本风险界。
• 使VC-based风险界在真实VC维未知或难以计算的实际学习场景中得以应用。
• 通过将估计误差建立在概率基础上，将经典VC理论的适用性扩展到SVM和神经网络等复杂模型。

提出的方法

• 使用Vapnik等人（2010）提出的基于模拟的VC维估计方法，对函数类的VC维进行经验估计。
• 应用经验过程理论，推导估计VC维在真实值附近的高概率集中性界。
• 证明在样本量和模型复杂度满足弱条件时，估计VC维 $\widehat{h}$ 以高概率集中在真实值 $h^*$ 附近。
• 推导出将真实VC维 $h^*$ 替换为估计值 $\widehat{h}$ 的泛化风险界，并利用 $\widehat{h}$ 的集中性控制整体误差。
• 采用链式论证和对称化技术，对经验风险与真实风险之间的偏差进行有界，条件是基于估计的VC维。
• 使用乘积测度框架，以考虑真实训练数据与估计过程中使用的模拟数据之间的统计独立性。

实验结果

研究问题

• RQ1 尽管存在估计误差，估计的VC维是否可以在泛化风险界中可靠使用？
• RQ2 估计VC维显著偏离真实VC维的概率是多少？
• RQ3 如何以高概率对VC维的估计误差进行有界，以确保风险界的有效性？
• RQ4 经典VC风险界能否被调整以使用估计的VC维，同时保持有限样本一致性？
• RQ5 在使用估计VC维时，何种条件可确保经验风险最小化分类器的泛化风险保持有界？

主要发现

• 在适当条件下，估计VC维 $\widehat{h}$ 以高概率集中在真实VC维 $h^*$ 附近，满足 $\mathbb{P}(|\widehat{h}-h^*|>\delta) \leq 13\exp\left\{-\frac{mk\delta^2}{16c_3}\right\}$。
• 泛化风险界 $\mathbb{P}(\sup_f |R_n(f) - \widehat{R}_n(f)| > \rho)$ 以高概率被有界为 $4GF(\widehat{h}+\delta, 2n)\exp\{-n\rho^2\}$，其中 $GF$ 为增长函数。
• 风险偏差的界依赖于估计VC维 $\widehat{h}$，且 $\widehat{h}$ 的集中性确保了整体风险界保持有效且紧致。
• 该方法适用于损失函数无界的模型，只要满足适当的矩条件，从而将VC理论的适用范围扩展至无界损失设定。
• 该理论框架支持复杂模型（如SVM和神经网络）中的模型选择与有限样本预测风险表征。
• 结果验证了在实践中使用基于模拟的VC估计的合理性，填补了将VC理论应用于真实学习问题时的关键理论空白。