[论文解读] Computing the Shattering Coefficient of Supervised Learning Algorithms

Rodrigo Fernandes de Mello, Moacir Antonelli Ponti+1 more|arXiv (Cornell University)|May 7, 2018

Machine Learning and Algorithms参考文献 2被引用 6

一句话总结

本文通过单个或多个 (h-1) 维超平面，在 h 维希尔伯特空间中推导出监督学习算法的打散系数的闭式表达式。证明了当超平面数量和维度固定时，增长函数呈多项式增长，从而在经验风险最小化原则下确保经验风险向期望风险的统一收敛，为通用监督学习算法提供了理论学习保证。

ABSTRACT

The Statistical Learning Theory (SLT) provides the theoretical guarantees for supervised machine learning based on the Empirical Risk Minimization Principle (ERMP). Such principle defines an upper bound to ensure the uniform convergence of the empirical risk Remp(f), i.e., the error measured on a given data sample, to the expected value of risk R(f) (a.k.a. actual risk), which depends on the Joint Probability Distribution P(X x Y) mapping input examples x in X to class labels y in Y. The uniform convergence is only ensured when the Shattering coefficient N(F,2n) has a polynomial growing behavior. This paper proves the Shattering coefficient for any Hilbert space H containing the input space X and discusses its effects in terms of learning guarantees for supervised machine algorithms.

研究动机与目标

• 正式推导在 h 维希尔伯特空间中运行的监督学习算法的打散系数。
• 建立打散系数呈多项式增长的条件，以确保经验风险向期望风险的统一收敛。
• 将分析扩展至多个超平面 (p)，并量化其对学习保证的影响。
• 提供一种计算实现所需泛化误差界所需的最小训练样本量的方法。
• 为使用经验风险最小化原则评估监督学习算法的泛化性能提供理论基础。

提出的方法

• 推导出在 h 维希尔伯特空间中单个超平面情况下的打散系数为 $ \mathcal{N}(F,2n) = 2\sum_{i=0}^{h}\binom{n-1}{i} $。
• 使用组合几何方法建模超平面如何将处于一般位置的数据点进行划分，统计分类器族所诱导的不同二元划分数量。
• 应用瓦普尼克-彻沃年尼斯增长函数框架，分析由超平面定义的假设空间的容量。
• 通过二项式不等式对单个打散系数的乘积进行有界处理，将结果扩展至 p 个超平面。
• 对泛化界应用对数和渐近分析，推导出样本量 n 增大时的收敛条件。
• 使用不等式 $ \binom{m}{k} \leq \left(\frac{em}{k}\right)^k $ 推导出单个和多个超平面情况下打散系数的上界。

实验结果

研究问题

• RQ1 在 h 维希尔伯特空间中，使用单个 (h-1) 维超平面的监督学习算法的打散系数的确切形式是什么？
• RQ2 随着样本量 n 增大，打散系数的渐近行为如何，这对泛化意味着什么？
• RQ3 p 个超平面的存在如何影响增长函数及由此产生的学习保证？
• RQ4 为确保在高概率下实现给定的泛化误差界 $ \epsilon $，所需的最小样本量是多少？
• RQ5 在基于超平面的分类器背景下，经验风险何时会统一收敛到期望风险？

主要发现

• 在 h 维希尔伯特空间中，单个超平面的打散系数为 $ \mathcal{N}(F,2n) = 2\sum_{i=0}^{h}\binom{n-1}{i} $，当 h 固定时，其随 n 呈多项式增长。
• 打散系数的多项式增长确保了经验风险最小化原则中上界的收敛性，当 n → ∞ 时趋于零，从而保证了统一收敛。
• 对于 p 个超平面，打散系数被有界为 $ \left( \frac{2e(n-1)(e^h(n-1)^h - 1)}{e(n-1) - 1} + 2 \right)^p $，在 h 和 p 固定时仍保持多项式增长。
• 泛化误差界 $ \epsilon $ 的尺度为 $ \epsilon = \frac{2\sqrt{hp\log{n} + \gamma}}{\sqrt{n}} $，表明增加 h 或 p 会提高所需的 $ \epsilon $，使泛化更加困难。
• 当 n → ∞ 时，界中的校正项消失，确认主导项为 $ -n\epsilon^2/4 $，当打散系数呈多项式增长时，确保收敛。
• 所推导的界使研究人员能够计算实现所需 $ \epsilon $-界且置信度较高的最小样本量 n，例如在 99% 的情况下 $ \epsilon = 0.05 $。