[论文解读] A Theory of the Risk for Optimization with Relaxation and its Application to Support Vector Machines

Marco C. Campi, Simone Garatti|arXiv (Cornell University)|Apr 13, 2020

Machine Learning and Data Classification被引用 7

一句话总结

本文提出了一套理论框架，用于量化松弛优化中约束违反的风险，建立了风险与数据驱动复杂度之间的直接联系。该理论被应用于支持向量机（SVM）、SVR 和 SVDD，证明了当数据量增大时，样本外风险收敛于复杂度与样本大小的比值，且在无需分布假设的前提下提供了有限样本保证。

ABSTRACT

In this paper we consider optimization with relaxation, an ample paradigm to make data-driven designs. This approach was previously considered by the same authors of this work in Garatti and Campi (2019), a study that revealed a deep-seated connection between two concepts: risk (probability of not satisfying a new, out-of-sample, constraint) and complexity (according to a definition introduced in paper Garatti and Campi (2019)). This connection was shown to have profound implications in applications because it implied that the risk can be estimated from the complexity, a quantity that can be measured from the data without any knowledge of the data-generation mechanism. In the present work we establish new results. First, we expand the scope of Garatti and Campi (2019) so as to embrace a more general setup that covers various algorithms in machine learning. Then, we study classical support vector methods - including SVM (Support Vector Machine), SVR (Support Vector Regression) and SVDD (Support Vector Data Description) - and derive new results for the ability of these methods to generalize. All results are valid for any finite size of the data set. When the sample size tends to infinity, we establish the unprecedented result that the risk approaches the ratio between the complexity and the cardinality of the data sample, regardless of the value of the complexity.

研究动机与目标

• 建立一个适用于多种机器学习算法的松弛优化风险量化通用理论。
• 在不依赖数据生成分布知识的前提下，弥合数据驱动复杂度与样本外风险之间的鸿沟。
• 为经典的支撑向量方法（包括SVM、SVR和SVDD）推导出紧致的、有限样本风险界。
• 证明风险渐近收敛于复杂度与样本大小的比值，且该结果与复杂度取值无关。

提出的方法

• 作者将先前基于复杂度的风险量化研究扩展至更广泛的松弛优化问题类别，其定义由代价函数和通过松弛变量 $\xi_i$ 惩罚的软约束构成。
• 提出一种基于‘复杂度’概念的新型理论框架——一种与数据相关的约束结构度量，用于量化样本中关键约束的数量。
• 该方法依赖于对解在随机采样下行为的概率分析，通过使用优化程序的‘加热’版本推导风险界。
• 关键技术包括构建一个参数固定的参考程序（例如 $w=0, b=-1$）以分析最坏情况风险，利用非累积性假设确保有效性。
• 理论结果通过基于分位数的置信区间 $I(s^*)$ 推导风险，其中 $s^*$ 为训练集中满足的约束数量。
• 证明技术将主定理（定理1）应用于原问题的简化退化版本，以界定向量分类错误的概率。

实验结果

研究问题

• RQ1 在不假设底层数据分布知识的前提下，如何量化松弛优化中的风险？
• RQ2 约束集的复杂度与解的样本外风险之间存在何种关系？
• RQ3 能否仅基于数据依赖的复杂度，为支持向量机、SVR 和 SVDD 推导出紧致的有限样本风险界？
• RQ4 当样本大小趋于无穷大时，风险会发生什么变化？它是否收敛于一个通用表达式？

主要发现

• 通过松弛优化获得的解的约束违反风险，当样本大小趋于无穷时，无论复杂度取值如何，均收敛于复杂度与样本大小的比值。
• 风险可仅通过数据依赖的复杂度度量和样本大小进行界定，而无需了解数据生成分布。
• 对于SVM，该理论证明了新样本点误分类的概率被 $\beta$ 所界，其中 $\beta$ 取决于复杂度和样本大小。
• 该界是紧致的，且对任意有限样本大小均成立，因此适用于数据有限的真实机器学习场景。
• 该方法可统一应用于SVM、SVR和SVDD，展示了这些广泛应用算法的统一理论框架。
• 分析表明，即使在退化情形（例如 $w^*=0$）下，理论风险界依然有效且具有信息量。