[论文解读] Approximate is Good Enough: Probabilistic Variants of Dimensional and Margin Complexity

Pritish Kamath, Omar Montasser+1 more|arXiv (Cornell University)|Mar 9, 2020

Machine Learning and Algorithms参考文献 23被引用 5

一句话总结

本论文提出了维度复杂度和边际复杂度的概率变体——允许在表示假设类时存在小误差的近似、随机嵌入。它证明了这些概念对于通过线性或核方法进行学习而言既是必要也是充分的，相较于经典的精确复杂度度量，为核方法的局限性提供了更紧致的下界。

ABSTRACT

We present and study approximate notions of dimensional and margin complexity, which correspond to the minimal dimension or norm of an embedding required to approximate, rather then exactly represent, a given hypothesis class. We show that such notions are not only sufficient for learning using linear predictors or a kernel, but unlike the exact variants, are also necessary. Thus they are better suited for discussing limitations of linear or kernel methods.

研究动机与目标

• 为解决经典维度复杂度与边际复杂度在评估核方法能力时的局限性。
• 形式化通过近似与随机化实现的线性或核方法学习，以反映实际机器学习场景。
• 确立近似、随机嵌入不仅充分而且必要于此类学习，而精确变体则不然。
• 建立统一框架，利用已知复杂度度量推导核学习样本复杂度的紧致下界。
• 通过新复杂度度量强化现有下界，解决深度学习与核方法比较中的开放问题。

提出的方法

• 提出维度复杂度（dcε）与边际复杂度（mcε）的概率变体，允许在特征映射中引入近似（误差ε）与随机化。
• 定义这些复杂度的依赖分布与独立分布版本，以分析特定数据分布下的泛化性能。
• 通过标准泛化界，建立新复杂度度量与“保证”线性/核学习（gLinε, gKerε）之间的等价性。
• 利用统计查询（SQ）维数与最小特征值维数（minEV-dim）对dcε进行下界估计，将其与既有复杂度度量关联。
• 证明dcε对于有限维或范数有界的嵌入学习是必要的，使其成为强有力的下界工具。
• 将该框架应用于强化先前关于核方法局限性的下界，尤其在0/1损失与平方损失设置下。

实验结果

研究问题

• RQ1 近似与随机特征映射是否能比精确、确定性嵌入更准确地刻画核方法的局限性？
• RQ2 是否存在可通过近似与随机化实现线性或核方法学习，但无法通过精确表示学习的假设类？
• RQ3 新复杂度度量能否用于推导核学习样本复杂度的紧致、通用下界？
• RQ4 新概率复杂度度量与VC维数、统计查询维数等既有概念之间存在何种关系？
• RQ5 该框架能否解决深度学习与核方法文献中的开放问题，如Yehudai与Shamir（2019）提出的问题？

主要发现

• 概率维度复杂度dcε对于依赖分布的线性或核方法学习（含近似）而言，既是必要也是充分的。
• 在0/1损失下，dcε可比经典精确维度复杂度指数级更小，表明近似能显著降低所需嵌入维度。
• 依赖分布的近似维度复杂度dcεD,ℓ受假设类VC维数的上界约束。
• 在平方损失下，dcεD,ℓsq的下界由最小特征值维数决定，而该值又受统计查询维数下界约束，从而实现强下界。
• 该框架通过新复杂度度量强化了下界，解决了Yehudai与Shamir（2019）提出的一个开放问题。
• 存在一个复杂性理论障碍：若对显式类在dcεD,ℓ01上存在超多项式下界，则意味着对深度为2的阈值电路也存在超多项式下界，这是长期悬而未决的开放问题。