[论文解读] $\ell_{\infty}$ Vector Contraction for Rademacher Complexity

Dylan J. Foster, Alexander Rakhlin|arXiv (Cornell University)|Nov 15, 2019

Computability, Logic, AI Algorithms参考文献 14被引用 11

一句话总结

本文针对函数关于 ℓ∞ 范数为利普希茨的场景，建立了更紧致的向量收缩不等式，用于径向基函数复杂度。结果表明，当向量值函数类与 ℓ∞-利普希茨映射复合时，其复杂度由最大坐标方向复杂度乘以 Õ(√K) 所界定，优于基于 ℓ2 的收缩界，并恢复了 K-均值聚类的最优率。

ABSTRACT

We show that the Rademacher complexity of any $\mathbb{R}^{K}$-valued function class composed with an $\ell_{\infty}$-Lipschitz function is bounded by the maximum Rademacher complexity of the restriction of the function class along each coordinate, times a factor of $ ilde{O}(\sqrt{K})$.

研究动机与目标

• 解决当函数为 ℓ∞-利普希茨而非 ℓ2-利普希茨时，现有向量收缩不等式过松的问题。
• 推导向量值函数类与 ℓ∞-利普希茨映射复合后的径向基函数复杂度的更紧界。
• 恢复 K-均值聚类的最优 Õ(√(Kn)) 率，该率无法通过标准的基于 ℓ2 的收缩不等式实现。
• 将结果推广至 ℓp 范数（p ∈ (0, ∞)），为不同利普希茨结构提供统一框架。
• 弥合理论界与结构化预测及聚类应用中已知最优率之间的差距。

提出的方法

• 基于覆盖数与肥碎维数的链式论证，用于界定径向基函数复杂度。
• 提出一种新颖的覆盖数界，利用 ℓ∞-利普希茨性，将映射 φ 的影响与函数类 F 分离。
• 采用重缩放论证，将一般情形简化为 β = L = 1 的情形，从而简化分析。
• 采用对偶覆盖策略，根据各坐标方向的独立径向基函数复杂度分配覆盖尺度。
• 通过在坐标间平衡覆盖尺度并利用 ℓp 范数，推导出一般 ℓp 收缩不等式。
• 应用 Dudley 积分与肥碎维数界，将覆盖数与径向基函数复杂度关联。

实验结果

研究问题

• RQ1 当映射 φ 为 ℓ∞-利普希茨而非 ℓ2-利普希茨时，能否改进标准向量收缩不等式？
• RQ2 改进后的界是否能恢复 K-均值聚类的最优 Õ(√(Kn)) 率，该率已被证明是紧的？
• RQ3 界中的 √K 因子在对数因子范围内是否紧致，或可进一步改进？
• RQ4 该结果能否推广至 ℓp 范数（超越 ℓ∞）？复杂度如何依赖于映射的 p-范数？
• RQ5 坐标方向的径向基函数复杂度在界定 ℓ∞-利普希茨变换下向量值函数类的整体复杂度中起何作用？

主要发现

• 与 ℓ∞-利普希茨映射复合的向量值函数类的径向基函数复杂度，被 Õ(L√K) 乘以最大坐标方向复杂度所界定。
• 该界恢复了 K-均值聚类的最优 Õ(√(Kn)) 率，优于基于 ℓ2 的收缩不等式所得的 O(K√n) 率。
• √K 因子在对数因子范围内是紧致的，通过使用超平面与 Rademacher 混沌的匹配下界构造得以证明。
• 对于 ℓp 范数，界按 Õ(L) 乘以坐标方向复杂度的 ℓ^{2p/(2+p)}-范数缩放，推广了 ℓ∞ 情形的结果。
• 该结果通过利用 ℓ∞-利普希茨映射的结构，在结构化预测、鲁棒学习与神经网络泛化方面优于先前界。
• 分析表明，当映射为 ℓ∞-利普希茨时，坐标方向复杂度主导整体复杂度，从而支持对 max_i R_n(F|_i) 的关注。