[论文解读] Generalization Bounds for Vicinal Risk Minimization Principle

Chao Zhang, Min-Hsiu Hsieh+1 more|arXiv (Cornell University)|Nov 11, 2018

Bayesian Methods and Mixture Models参考文献 14被引用 6

一句话总结

本文通过在利普希茨连续性假设下分析与邻域函数卷积的函数类，为邻域风险最小化（VRM）原则建立了泛化边界。研究证明，VRM的泛化性能取决于邻域函数的选择以及原始函数类的复杂度，为mixup和基于高斯的VRM模型提供了理论依据。

ABSTRACT

The vicinal risk minimization (VRM) principle, first proposed by \citet{vapnik1999nature}, is an empirical risk minimization (ERM) variant that replaces Dirac masses with vicinal functions. Although there is strong numerical evidence showing that VRM outperforms ERM if appropriate vicinal functions are chosen, a comprehensive theoretical understanding of VRM is still lacking. In this paper, we study the generalization bounds for VRM. Our results support Vapnik's original arguments and additionally provide deeper insights into VRM. First, we prove that the complexity of function classes convolving with vicinal functions can be controlled by that of the original function classes under the assumption that the function class is composed of Lipschitz-continuous functions. Then, the resulting generalization bounds for VRM suggest that the generalization performance of VRM is also effected by the choice of vicinity function and the quality of function classes. These findings can be used to examine whether the choice of vicinal function is appropriate for the VRM-based learning setting. Finally, we provide a theoretical explanation for existing VRM models, e.g., uniform distribution-based models, Gaussian distribution-based models, and mixup models.

研究动机与目标

• 为邻域风险最小化（VRM）原则提供全面的理论理解，尽管其在实践中表现强劲，但缺乏严谨分析。
• 分析当函数类与邻域函数卷积时，其复杂度的变化，特别是在利普希茨连续性条件下的情况。
• 推导依赖于邻域函数和原始函数类复杂度的VRM泛化边界。
• 为现有VRM模型（包括mixup、基于均匀分布和基于高斯分布的方法）提供理论支持。
• 建立一个评估VRM学习设置中邻域函数选择是否合适的框架。

提出的方法

• 在原始函数类满足利普希茨连续性假设下，对与邻域函数卷积后的函数类复杂度进行理论分析。
• 通过覆盖数和Rademacher复杂度推导泛化边界，采用基于扰动的方法将经验风险与期望风险关联。
• 利用风险差的对偶表示，以邻域分布与真实分布之间的期望偏差来界定泛化误差。
• 应用浓度不等式和矩生成函数，控制风险差的尾部概率。
• 引入一个覆盖集Λ*，将原始函数类的覆盖数与卷积后函数类的覆盖数联系起来。
• 利用Li（2012）的引理16，将风险差的指数尾部边界与次威布尔尾部分布行为关联。

实验结果

研究问题

• RQ1 当函数类与邻域函数卷积时，其复杂度如何变化，特别是在利普希茨连续性条件下？
• RQ2 可以为VRM原则推导出哪些泛化边界，且这些边界如何依赖于邻域函数的选择？
• RQ3 原始函数类的复杂度在多大程度上影响VRM的泛化性能？
• RQ4 通过所提出的框架，能否对现有的VRM模型（如mixup和基于高斯的模型）提供理论上的合理性解释？
• RQ5 如何评估给定的邻域函数是否适用于特定的VRM学习设置？

主要发现

• 当函数为利普希茨连续时，与邻域函数卷积后的函数类的复杂度由原始类的复杂度控制。
• VRM的泛化边界依赖于原始函数类的覆盖数以及邻域函数的选择。
• 所提出的边界表明，VRM的泛化性能对函数类的质量和邻域函数的形式均敏感。
• 该理论框架为mixup、基于均匀分布和基于高斯分布的VRM模型的成功提供了理论支持。
• 推导出风险差的概率边界，表明在适当的尾部条件下，泛化误差随样本量的平方根而衰减。
• 该框架通过将邻域函数的影响与可度量的复杂度和偏差指标关联，实现了对邻域函数选择的系统性评估。