[论文解读] Learning without Concentration

Shahar Mendelson|arXiv (Cornell University)|Jan 1, 2014

Statistical Methods and Inference被引用 26

一句话总结

本文提出了一种新颖的框架，用于在不依赖大数定律或有界性假设的前提下，分析凸类在平方损失下的经验风险最小化（ERM）。通过引入一种‘小球’条件以处理重尾函数和目标，推导出与噪声水平相关的精确边界，即使在有界设定下也优于经典结果。

ABSTRACT

We obtain sharp bounds on the performance of Empirical Risk Minimization performed in a convex class and with respect to the squared loss, without assuming that class members and the target are bounded functions or have rapidly decaying tails. Rather than resorting to a concentration-based argument, the method used here relies on a `small-ball' assumption and thus holds for classes consisting of heavy-tailed functions and for heavy-tailed targets. The resulting estimates scale correctly with the `noise level' of the problem, and when applied to the classical, bounded scenario, always improve the known bounds.

研究动机与目标

• 解决现有ERM边界依赖于有界性或次高斯尾部假设的局限性。
• 在函数和目标可能为重尾（即尾部衰减缓慢）的情况下，开发一种分析ERM性能的框架。
• 推导出ERM在$L_2$估计误差上的高概率边界，使其与噪声水平正确缩放。
• 以小球假设替代基于大数定律的论证，从而实现非次高斯设定下的分析。
• 将该方法推广至任意凸损失函数，尤其适用于非有界情形。

提出的方法

• 在函数类和目标上引入‘小球’条件，确保差值$f - f^*$以正概率远离零。
• 以基于随机符号$\varepsilon_i$的Rademacher平均的对称化技术替代传统的大数定律论证。
• 基于$\mathcal{F} \cap r\mathcal{D}_{f^*}$上Rademacher过程的样本和期望上确界，定义关键参数$\alpha_N^*$和$\beta_N^*$。
• 利用损失函数的二阶泰勒展开来下界估计经验超额损失，确保大估计误差将导致正超额损失。
• 证明若$\|f - f^*\|_{L_2} \geq \max(\alpha_N^*, \beta_N^*)$，则以高概率有$P_N \mathcal{L}_f > 0$，意味着$\hat{f}$必须接近$f^*$。
• 通过$\ell(f(X)-Y)$的一阶和二阶展开，将该方法扩展至一般凸损失函数，其中$\ell''(Z_i)$起到控制曲率的关键作用。

实验结果

研究问题

• RQ1 是否可以在不假设函数或目标有界性或次高斯尾部的前提下，对ERM性能进行边界控制？
• RQ2 在重尾设定下，控制估计误差的替代方法（替代大数定律）是什么？
• RQ3 在无矩或尾部假设下，所得边界如何随噪声水平缩放？
• RQ4 该框架能否推广至平方损失之外的一般凸损失函数？
• RQ5 小球条件在替代高概率误差边界中的大数定律论证中起到何种作用？

主要发现

• 本文建立了高概率边界$\|\hat{f} - f^*\|_{L_2}^2 \leq c_1 \max\left\{\left(k_N^*(c_2)\right)^2, \frac{t}{N}\right\}$，其中$k_N^*(\gamma)$通过小球条件定义。
• 即使在有界情形下，该边界也优于经典结果，因其不依赖于次高斯或有界性假设。
• 该方法适用于重尾目标和函数，包括高斯回归和次威布尔噪声情形，此时经典大数定律失效。
• 通过泰勒展开论证，该框架可推广至任意凸损失函数，其中二阶导数$\ell''(Z_i)$在曲率控制中起关键作用。
• 对于强凸损失，该方法恢复了与平方损失情形相同的结构，其中$\ell''(Z_i) \geq c_1 > 0$确保了统一的下界。
• 小球假设使得可将基于大数定律的论证替换为对典型行为的概率控制，即使均值不具备代表性亦成立。