[论文解读] Learning subgaussian classes : Upper and minimax bounds

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|May 21, 2013

Sparse and Compressive Sensing Techniques参考文献 38被引用 55

一句话总结

本文在凸函数类上的子高斯学习问题中，为经验风险最小化（ERM）建立了精确的上界和极小极大界。证明了在子高斯噪声下，ERM在期望意义下是极小极大的最优解，其误差率与准确率和置信度之间的最优权衡相匹配，凸显了在子高斯设定下凸性对于实现这种最优性至关重要。

ABSTRACT

We obtain sharp oracle inequalities for the empirical risk minimization procedure in the regression model under the assumption that the target Y and the model F are subgaussian. The bound we obtain is sharp in the minimax sense if F is convex. Moreover, under mild assumptions on F, the error rate of ERM remains optimal even if the procedure is allowed to perform with constant probability. A part of our analysis is a new proof of minimax results for the gaussian regression model.

研究动机与目标

• 确定经验风险最小化（ERM）作为子高斯回归问题中学习过程的最优性。
• 建立ERM过剩风险的上界，使其与极小极大下界相匹配，从而确保最优性。
• 阐明凸性在子高斯噪声下实现极小极大最优性中的作用。
• 研究在高维或复杂函数类中，ERM在何种条件下可实现最佳可能的准确率与置信度权衡。
• 将子高斯设定与重尾分布进行对比，说明在后者中ERM无法实现最优性能。

提出的方法

• 基于高斯过程比较技术的不动点论证，推导出由函数类索引的经验过程的上界。
• 应用伯恩斯坦型条件和一致等周不等式，控制经验风险与真实风险之间的偏差。
• 采用1-伯恩斯坦条件的概念，刻画何时达到极小极大率，将其与凸性联系起来。
• 分析在 $L_2(\mu)$ 上对函数类的度量投影，表明唯一最佳逼近存在意味着凸性。
• 利用弗拉索夫定理证明：希尔伯特空间中局部紧致的切比雪夫集必为凸集。
• 通过 $rD \cap (\mathcal{F} - \mathcal{F})$ 上高斯过程的上确界推导界，将其与类的复杂性相关联。

实验结果

研究问题

• RQ1 在何种条件下，ERM在子高斯学习问题中是极小极大的最优解？
• RQ2 函数类的凸性如何影响ERM在过剩风险界方面的性能？
• RQ3 在子高斯设定下，ERM可实现的准确率与置信度之间的精确权衡是什么？
• RQ4 为何在重尾噪声分布下，ERM无法像在子高斯情况下那样实现最优性能？
• RQ5 能否通过高斯过程技术和等周性精确刻画极小极大收敛速率？

主要发现

• 当函数类为凸时，ERM在子高斯学习问题中以期望形式达到极小极大收敛速率。
• ERM过剩风险的上界与极小极大下界完全匹配，证明了在此设定下ERM的最优性。
• 函数类 $\mathcal{F}$ 的凸性是 $L_2(\mu)$ 中存在唯一最佳逼近的必要且充分条件，这蕴含了1-伯恩斯坦条件。
• 一致伯恩斯坦条件意味着类是凸的，揭示了统计性能与几何结构之间深刻的联系。
• 除非类在 $L_2(\mu)$ 中局部紧致，否则极小极大速率不会趋于零；在这些情况下，凸性可确保最优性能。
• 结果是精确的：在子高斯设定下，ERM实现了最佳可能的准确率-置信度权衡，而在重尾分布下该性质不成立。