[论文解读] Proper Learning, Helly Number, and an Optimal SVM Bound

Olivier Bousquet, Steve Hanneke+2 more|arXiv (Cornell University)|May 24, 2020

Machine Learning and Algorithms参考文献 34被引用 7

一句话总结

本文识别出对偶 Helly 数作为决定合适学习算法能否在不依赖经验风险最小化通常所需的对数因子的情况下实现最优 PAC 样本复杂度的关键组合参数。本文证明了有界对偶 Helly 数刻画了合适学习者可匹配最优样本复杂度的类，并通过建立支持向量机在可实现情形下的首个最优、计算高效的 PAC 边界，解决了长期悬而未决的开放问题：$ Theta\left(\frac{n}{\varepsilon} + \frac{1}{\varepsilon}\log\frac{1}{\delta}\right)$。

ABSTRACT

The classical PAC sample complexity bounds are stated for any Empirical Risk Minimizer (ERM) and contain an extra logarithmic factor $\log(1/ε)$ which is known to be necessary for ERM in general. It has been recently shown by Hanneke (2016) that the optimal sample complexity of PAC learning for any VC class C is achieved by a particular improper learning algorithm, which outputs a specific majority-vote of hypotheses in C. This leaves the question of when this bound can be achieved by proper learning algorithms, which are restricted to always output a hypothesis from C. In this paper we aim to characterize the classes for which the optimal sample complexity can be achieved by a proper learning algorithm. We identify that these classes can be characterized by the dual Helly number, which is a combinatorial parameter that arises in discrete geometry and abstract convexity. In particular, under general conditions on C, we show that the dual Helly number is bounded if and only if there is a proper learner that obtains the optimal joint dependence on $ε$ and $δ$. As further implications of our techniques we resolve a long-standing open problem posed by Vapnik and Chervonenkis (1974) on the performance of the Support Vector Machine by proving that the sample complexity of SVM in the realizable case is $Θ((n/ε)+(1/ε)\log(1/δ))$, where $n$ is the dimension. This gives the first optimal PAC bound for Halfspaces achieved by a proper learning algorithm, and moreover is computationally efficient.

研究动机与目标

• 刻画哪些概念类允许存在合适学习算法，以实现最优 PAC 样本复杂度，且不包含 ERM 通常所需的 $\\log(1/\\varepsilon)$ 因子。
• 研究来自离散几何的组合参数——对偶 Helly 数——在决定合适学习样本复杂度中的作用。
• 解决关于在 $\\mathbb{R}^n$ 中可实现设置下支持向量机样本复杂度的长期悬而未决的开放问题。
• 建立合适学习可实现最优 $\\varepsilon$ 依赖性当且仅当对偶 Helly 数有界。

提出的方法

• 作者引入并分析了作为概念类结构属性的对偶 Helly 数，将其与存在最优样本复杂度的合适学习者联系起来。
• 他们证明了当且仅当其对偶 Helly 数有界时，一个概念类 $\\mathbb{C}$ 才能拥有在样本复杂度中具有最优 $\\varepsilon$-依赖性的合适学习者。
• 该分析利用了离散几何和抽象凸分析的工具，刻画了合适学习可避免 $\\log(1/\\varepsilon)$ 惩罚的组合条件。
• 本文将该框架应用于 $\\mathbb{R}^n$ 中的半空间类，证明了该类的对偶 Helly 数是有界的。
• 通过将对偶 Helly 数分析与已知的一般化界相结合，推导出可实现情形下 SVM 的样本复杂度。
• 结果表明该边界既是最优的，也是计算高效的，为可实现设置下的合适学习建立了新基准。

实验结果

研究问题

• RQ1 在何种条件下，合适学习算法可实现最优 PAC 样本复杂度，且不包含 $\\log(1/\\varepsilon)$ 因子？
• RQ2 对偶 Helly 数如何与合适学习算法的样本复杂度相关联？
• RQ3 在可实现设置下，$\\mathbb{R}^n$ 中支持向量机的精确样本复杂度是多少？
• RQ4 能否通过合适学习算法实现 $\\mathbb{R}^n$ 中半空间的最优样本复杂度？

主要发现

• 当且仅当对偶 Helly 数有界时，其值才为有界，此时存在合适学习算法可实现最优 $\\varepsilon$-依赖性样本复杂度。
• 在 $\\mathbb{R}^n$ 中可实现情形下，SVM 的样本复杂度为 $\\Theta\left(\\frac{n}{\\varepsilon} +\\frac{1}{\\varepsilon}\log\\frac{1}{\\delta}\right)$，该结果是最优且计算高效的。
• 该结果解决了 Vapnik（1974）提出的关于 SVM 在可实现设置下性能的长期悬而未决的开放问题。
• 该结果首次建立了由合适学习算法实现的 $\\mathbb{R}^n$ 中半空间的最优 PAC 边界。
• 对偶 Helly 数提供了合适学习何时可匹配不当学习样本复杂度的完整组合刻画。
• 该框架具有广泛适用性，表明有界对偶 Helly 数是实现最优合适学习的必要且充分条件。