[论文解读] Learning with Square Loss: Localization through Offset Rademacher Complexity

Tengyuan Liang, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 21, 2015

Machine Learning and Algorithms参考文献 20被引用 15

一句话总结

本文引入偏置 Rademacher 复杂度作为分析平方损失回归的新型工具，无需假设函数有界即可实现局部化。它证明了两步估计量的过失风险上界由该复杂度决定，在有界情形下恢复已知速率，并通过几何不等式和链式方法将结果推广至无界设定。

ABSTRACT

We consider regression with square loss and general classes of functions without the boundedness assumption. We introduce a notion of offset Rademacher complexity that provides a transparent way to study localization both in expectation and in high probability. For any (possibly non-convex) class, the excess loss of a two-step estimator is shown to be upper bounded by this offset complexity through a novel geometric inequality. In the convex case, the estimator reduces to an empirical risk minimizer. The method recovers the results of \citep{RakSriTsy15} for the bounded case while also providing guarantees without the boundedness assumption.

研究动机与目标

• 开发一个统一框架，用于分析平方损失回归中的过失风险，尤其在函数或噪声无有界性假设的情况下。
• 引入并形式化偏置 Rademacher 复杂度的概念，作为期望和高概率下局部化的工具。
• 将现有关于局部 Rademacher 复杂度和经验风险最小化的结论推广至非凸和无界函数类。
• 以偏置 Rademacher 复杂度表示最小最大过失风险的下界，证明其在回归问题中的内在作用。
• 通过基于链式分析的新型方法，无需有界性假设即可恢复已知的聚合速率（例如来自 [18] 的结果）。

提出的方法

• 提出两步估计量：首先，在函数类 $\mathcal{F}$ 上计算经验风险最小化器 $\widehat{g}$；其次，在星体 $\text{star}(\mathcal{F}, \widehat{g})$ 上最小化经验风险。
• 引入偏置 Rademacher 过程 $ g \mapsto \frac{1}{n}\sum_{t=1}^n \epsilon_t g(x_t) - c g(x_t)^2 $，其中二次项通过抑制较大 $g$ 值实现局部化。
• 将偏置 Rademacher 复杂度定义为该过程的上确界，其在期望和高概率下作为两步估计量过失风险的上界。
• 应用几何不等式将过失风险与偏置 Rademacher 复杂度关联，将经典结果推广至无界设定。
• 基于覆盖数使用链式技术上界偏置过程的上确界，从而导出有限样本风险上界。
• 证明偏置 Rademacher 复杂度可由 Mendelson [14] 的固定点复杂度控制，从而与现有框架建立联系。

实验结果

研究问题

• RQ1 在平方损失回归中，是否可以在不假设函数类或噪声有界的情况下实现局部化？
• RQ2 与经典局部 Rademacher 复杂度相比，偏置 Rademacher 复杂度在控制过失风险方面表现如何？
• RQ3 在平方损失回归下，表征最小最大过失风险的内在复杂度度量是什么？
• RQ4 两步星估计量是否可在无凸性或有界性假设下达到最优速率？
• RQ5 在无界设定下，偏置 Rademacher 复杂度在多大程度上可通过覆盖数和链式方法控制？

主要发现

• 即使在无有界性假设下，两步估计量的过失风险在期望和高概率下仍被偏置 Rademacher 复杂度上界控制。
• 对于线性类，偏置 Rademacher 复杂度在期望和高概率下为 $\mathcal{O}(p/n)$，与普通最小二乘法的速率一致。
• 该方法在无需有界函数或噪声的条件下恢复了 [18] 中的聚合速率，将结果推广至无界设定。
• 建立了最小最大过失风险的下界，其以偏置 Rademacher 复杂度表示，表明其在问题中的根本作用。
• 证明偏置 Rademacher 复杂度可由 Mendelson [14] 的固定点复杂度上界控制，从而将其与现有框架关联。
• 在满足下等距性假设的条件下建立了高概率上界，该假设对次高斯类成立，确保了偏差控制的有效性。