[论文解读] Optimistic Rates for Learning with a Smooth Loss

Nathan Srebro, Karthik Sridharan+1 more|arXiv (Cornell University)|Sep 20, 2010

Advanced Bandit Algorithms Research参考文献 28被引用 45

一句话总结

该论文为具有平滑损失函数的经验风险最小化建立了改进的一般化界，引入了乐观率 $\widetilde{O}(HR/n + \sqrt{L^*HR/n})$，该速率优于经典的 $1/\sqrt{n}$ 速率，尤其在可分情形（$L^*=0$）下表现更优。分析利用了二阶平滑性和 Rademacher 复杂度，进一步扩展至具有平滑目标的在线与随机凸优化。

ABSTRACT

We establish an excess risk bound of O(H R_n^2 + R_n \sqrt{H L*}) for empirical risk minimization with an H-smooth loss function and a hypothesis class with Rademacher complexity R_n, where L* is the best risk achievable by the hypothesis class. For typical hypothesis classes where R_n = \sqrt{R/n}, this translates to a learning rate of O(RH/n) in the separable (L*=0) case and O(RH/n + \sqrt{L^* RH/n}) more generally. We also provide similar guarantees for online and stochastic convex optimization with a smooth non-negative objective.

研究动机与目标

• 解决依赖一阶利普希茨连续性的经典过失风险界所存在的局限性，后者无法捕捉如平方损失等平滑损失的快速收敛速率。
• 为损失函数具有有界二阶导数（即 $H$-平滑）的假设类提供更紧的一般化保证，前提是其 Rademacher 复杂度有界。
• 通过利用平滑性，在可分情形（$L^*=0$）下实现更优的学习速率，达到 $\widetilde{O}(HR/n)$ 而非标准的 $\widetilde{O}(\sqrt{HR/n})$。
• 将分析扩展至具有平滑、非负目标的在线与随机凸优化，提供类似的乐观率。
• 区分‘乐观’速率与‘快速’速率，表明乐观速率会随最优风险 $L^*$ 的变化，从 $1/n$ 优雅地退化为 $1/\sqrt{n}$。

提出的方法

• 推导出 $H$-平滑损失函数的过失风险界为 $\widetilde{O}(H\mathcal{R}_n^2 + \sqrt{HL^*}\mathcal{R}_n)$，其中 $\mathcal{R}_n$ 为假设类的 Rademacher 复杂度。
• 利用损失函数的二阶泰勒展开来界定过失风险，依赖于 Hessian 矩阵（二阶导数）的有界性，而非梯度（一阶导数）的有界性。
• 将该界应用于典型情形，其中 $\mathcal{R}_n = \sqrt{R/n}$，得到速率 $\widetilde{O}(RH/n + \sqrt{L^*RH/n})$。
• 通过使用带熵正则化的镜像下降，将结果扩展至在线与随机凸优化，实现类似界且无对数因子。
• 在 $\ell_1$-范数约束空间上使用 1-强凸熵正则化器，以避免最终界中出现对数因子。
• 证明在平滑情形下，最坏情况下的 Rademacher 复杂度无法被期望或经验 Rademacher 复杂度替代，这与利普希茨情形不同。

实验结果

研究问题

• RQ1 是否可以将平滑损失函数的一般化界改进至超越经典 $1/\sqrt{n}$ 速率，尤其在可分情形下？
• RQ2 损失函数的二阶平滑性（即 $H$-平滑性）如何影响经验风险最小化中的过失风险？
• RQ3 能否为平滑、非负损失函数实现乐观速率——在可分情形下为 $\widetilde{O}(HR/n)$？
• RQ4 是否可以将这些界扩展至具有平滑目标的在线与随机凸优化设置？
• RQ5 为何在平滑情形下，最坏情况下的 Rademacher 复杂度界无法被期望或经验 Rademacher 复杂度替代，而利普希茨情形下可以？

主要发现

• 该论文为 $H$-平滑损失建立了过失风险界 $\widetilde{O}(H\mathcal{R}_n^2 + \sqrt{HL^*}\mathcal{R}_n)$，该界优于依赖一阶利普希茨连续性的经典界。
• 对于满足 $\mathcal{R}_n = \sqrt{R/n}$ 的假设类，该界退化为 $\widetilde{O}(RH/n + \sqrt{L^*RH/n})$，在可分情形（$L^*=0$）下实现 $1/n$ 速率。
• 该界对如平方损失等平滑损失是紧的，避免了因对一阶导数进行有界而产生的差的 $O(B^4\|X\|_2^4/n)$ 速率。
• 结果可扩展至在线与随机凸优化，在该情形下，带熵正则化的随机镜像下降可实现相同的乐观速率。
• 使用熵正则化器可实现简洁的 $O$-记号界，无对数因子，优于以往的 $\widetilde{O}$-记号界。
• 论文表明，在平滑情形下，最坏情况下的 Rademacher 复杂度无法被期望或经验 Rademacher 复杂度替代，这与利普希茨情形不同，凸显了泛化理论中的一个关键差异。