[论文解读] Local Rademacher Complexity Bounds based on Covering Numbers

Yunwen Lei, Lixin Ding+1 more|arXiv (Cornell University)|Oct 6, 2015

Machine Learning and Algorithms参考文献 29被引用 4

一句话总结

本文提出了一种利用覆盖数界定局部 Rademacher 复杂度的一般性框架，建立了 $L_2(P)$-范数与 $L_2(P_n)$-范数约束复杂度之间的系统性联系。主要贡献是一个精确且统一的界，相较于先前在一般熵条件下的结果有所改进，使得学习理论中的泛化误差率更加紧密。

ABSTRACT

This paper provides a general result on controlling local Rademacher complexities, which captures in an elegant form to relate the complexities with constraint on the expected norm to the corresponding ones with constraint on the empirical norm. This result is convenient to apply in real applications and could yield refined local Rademacher complexity bounds for function classes satisfying general entropy conditions. We demonstrate the power of our complexity bounds by applying them to derive effective generalization error bounds.

研究动机与目标

• 提出一种使用覆盖数估计局部 Rademacher 复杂度的一般性、系统性方法。
• 在统一框架下弥合 $L_2(P)$-范数与 $L_2(P_n)$-范数约束复杂度界之间的差距。
• 针对满足一般熵条件的函数类，改进现有的局部 Rademacher 复杂度界。
• 将推导出的界应用于学习理论问题，以获得更优的泛化误差率。

提出的方法

• 提出一种一般性局部 Rademacher 复杂度界，通过覆盖数将 $L_2(P)$-范数与 $L_2(P_n)$-范数约束复杂度联系起来。
• 对由熵条件导出的函数 $\psi_\epsilon(r)$ 使用不动点论证以控制复杂度。
• 应用 Rademacher 复杂度的收缩性质来处理函数类的复合结构。
• 使用改进的熵积分技术，以覆盖数表示形式界定经验 Rademacher 复杂度。
• 推导出一个一般性界，涵盖并优于 Mendelson (2003, 2004) 针对各种熵条件所得出的特定情形结果。
• 通过参数化熵假设，建立覆盖数熵与所得复杂度界之间的联系。

实验结果

研究问题

• RQ1 如何使用覆盖数以一种通用且系统的方式界定局部 Rademacher 复杂度？
• RQ2 能否以一种形式化方式建立 $L_2(P)$-范数与 $L_2(P_n)$-范数约束复杂度之间的关系，从而改进现有界？
• RQ3 所提出的框架在多大程度上可改进满足一般熵条件的函数类的学习率？
• RQ4 该界是否可统一应用于不同函数类，而无需逐案推导？
• RQ5 在相同熵假设下，新界相较于 Mendelson 结果的定量改进程度如何？

主要发现

• 所提出的界提供了对局部 Rademacher 复杂度的一般性且精确的估计，其依赖于覆盖数和熵条件。
• 对于熵条件 $\log \mathcal{N}(\epsilon, \mathcal{F}, \|\cdot\|_{L_2(P)}) \leq c \epsilon^{-p} \log^2(1/\epsilon)$，该界给出 $r^* \leq c n^{-2/(p+2)} (\log n)^{(2-p)/(p+2)} \log(n / (\log n)^{2/(p+2)})$。
• 在满足一般熵条件的函数类上，该推导界在紧致性方面优于 Mendelson 的结果。
• 该框架实现了对局部 Rademacher 复杂度的统一处理，避免了以往工作中所需的逐案推导。
• 当应用于学习理论问题时，该界可导致更优的泛化误差率。
• 该方法有效捕捉了经验范数与真实范数之间的相互作用，从而得到比全局界更紧致的复杂度估计。