[论文解读] Improved Vapnik Cervonenkis bounds

Olivier Catoni|arXiv (Cornell University)|Oct 11, 2004

Gaussian Processes and Bayesian Inference参考文献 11被引用 4

一句话总结

该论文通过引入一种新型的PAC-Bayesian框架，改进了统计学习理论中的Vapnik-Cervonenkis（VC）边界，该框架使用任意大小的数据相关影子样本，消除了对对称化的需求，并降低了方差项。关键贡献在于针对非同分布数据的更紧致泛化边界，且常数更优，尤其在影子样本较大时表现更佳，数值结果显示当N=10⁶且h=10时，边界值低于0.2068。

ABSTRACT

We give a new proof of VC bounds where we avoid the use of symmetrization and use a shadow sample of arbitrary size. We also improve on the variance term. This results in better constants, as shown on numerical examples. Moreover our bounds still hold for non identically distributed independent random variables. Keywords: Statistical learning theory, PAC-Bayesian theorems, VC dimension.

研究动机与目标

• 通过避免对称化并使用任意大小的影子样本，改进经典VC边界。
• 收紧现有PAC-Bayesian边界中的方差项，消除对任意参数ζ的依赖。
• 将边界扩展至非同分布的独立随机变量。
• 推导出改进的归纳边界，其中测试误差以训练误差为条件，利用大影子样本进行界定。
• 通过数值实验展示更紧致的泛化误差边界，尤其在影子样本较大时表现更优。

提出的方法

• 引入一种归纳设置，其中影子样本大小为kN，仅观测到训练标签。
• 使用基于假设空间覆盖网的数据相关先验的PAC-Bayesian不等式。
• 应用一种随机可交换距离ℓ，以控制假设在训练集与测试集上误差的差异。
• 利用函数g(·)和涉及Φ(·)（标准正态分布的累积分布函数）的方差项，推导出r₂(θ)−r₁(θ)的边界。
• 通过对一系列分辨率递减的覆盖网ξⱼ进行优化，消除边界中的log(N)项。
• 在对数尺度的覆盖网族上使用并集界，实现边界中log log(N)项而非log(N)项。

实验结果

研究问题

• RQ1 能否通过用数据相关影子样本替代对称化来改进VC边界？
• RQ2 能否在不引入如ζ之类的任意参数的情况下，降低现有PAC-Bayesian边界中的方差项？
• RQ3 能否在保持紧致性的同时，将边界扩展至非同分布数据？
• RQ4 在归纳学习中，使用大影子样本是否能显著改善泛化误差边界？
• RQ5 能否通过自适应覆盖网优化，将边界中的log(N)依赖关系替换为log log(N)？

主要发现

• 所提出的边界通过降低方差项并消除对参数ζ的依赖，优于经典VC边界。
• 当N=10⁶，h=10，r₁(θ)=0.2，且ε=0.005时，最优k=257和j=7下，边界值小于0.20672。
• 当k在42至19,470范围内时，边界值始终低于0.2068，表明对大影子样本具有鲁棒性。
• 该方法在边界中实现了log log(N)依赖关系，而非log(N)，显著提升了渐近紧致性。
• 边界适用于非同分布的独立随机变量，扩大了其在非i.i.d.假设下的适用范围。
• 数值结果表明，与现有边界相比，该方法始终表现更优，尤其在经验误差较小且假设复杂度较高时。