[论文解读] Binary Excess Risk for Smooth Convex Surrogates

Mehrdad Mahdavi, Lijun Zhang+1 more|arXiv (Cornell University)|Feb 7, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用 4

一句话总结

本文研究了凸代理损失的平滑性与二分类中二元过剩风险之间的权衡。结果表明，尽管平滑性有助于优化和泛化，但可能损害统计一致性，从而导致更差的二元过剩风险。然而，在有利条件下，通过适当选择的平滑凸损失——特别是平滑化的合页损失——可以实现优于 O(1/√n) 的二元过剩风险，统一分析了优化误差、泛化误差和风险转换误差。

ABSTRACT

In statistical learning theory, convex surrogates of the 0-1 loss are highly preferred because of the computational and theoretical virtues that convexity brings in. This is of more importance if we consider smooth surrogates as witnessed by the fact that the smoothness is further beneficial both computationally- by attaining an {\it optimal} convergence rate for optimization, and in a statistical sense- by providing an improved {\it optimistic} rate for generalization bound. In this paper we investigate the smoothness property from the viewpoint of statistical consistency and show how it affects the binary excess risk. We show that in contrast to optimization and generalization errors that favor the choice of smooth surrogate loss, the smoothness of loss function may degrade the binary excess risk. Motivated by this negative result, we provide a unified analysis that integrates optimization error, generalization bound, and the error in translating convex excess risk into a binary excess risk when examining the impact of smoothness on the binary excess risk. We show that under favorable conditions appropriate choice of smooth convex loss will result in a binary excess risk that is better than $O(1/\sqrt{n})$.

研究动机与目标

• 理解凸代理损失的平滑性对分类中二元过剩风险的统计影响。
• 解决平滑性在优化和泛化方面带来的益处与在统计一致性方面对二元过剩风险的负面影响之间的表面矛盾。
• 提供一个统一分析，整合优化误差、泛化误差以及从凸过剩风险到二元过剩风险的转换误差。
• 识别平滑凸损失可实现改进的二元过剩风险率的条件。

提出的方法

• 提出一个统一框架，用于分析三种误差来源：优化误差、泛化误差以及从凸过剩风险到二元过剩风险的 ψ-变换误差。
• 以平滑化合页损失为例进行分析，推导其 ψ-变换，以建立凸过剩风险与二元过剩风险之间的关联。
• 利用伯恩斯坦不等式和集中不等式，在具有通用核的再生核Hilbert空间（RKHS）设定下控制泛化误差。
• 通过参数 γ 引入平滑度控制，以研究平滑度与风险性能之间的权衡。
• 推导出依赖于 n、γ 以及经验风险最小化器收敛速率的二元过剩风险的高概率上界。
• 建立二元过剩风险衰减快于 O(1/√n) 的条件，特别是当优化迭代次数超过 √n 且 R∗_hinge 的收敛速度快于 1/γ 时。

实验结果

研究问题

• RQ1 凸代理损失的平滑性如何影响分类中的二元过剩风险？
• RQ2 为何平滑性虽能改善优化和泛化，却会降低二元过剩风险的统计一致性？
• RQ3 在有利条件下，平滑凸损失是否仍可实现优于 O(1/√n) 的二元过剩风险？
• RQ4 在平滑凸代理损失的背景下，优化误差、泛化误差与风险转换误差之间存在何种相互作用？
• RQ5 在何种条件下，平滑化合页损失可在二元过剩风险方面优于非平滑代理损失？

主要发现

• 凸代理损失的平滑性会降低二元过剩风险，这与它在优化和泛化方面的优势相反。
• 推导出平滑化合页损失的 ψ-变换，量化了从凸过剩风险到二元过剩风险的映射关系。
• 在有利条件下——特别是当优化迭代次数超过 √n 且 R∗_hinge 的收敛速度优于 1/γ 时——二元过剩风险可被控制在 O(n−τ1 log n) 范围内，其中 τ1 > 1/2。
• 这意味着二元过剩风险可优于 O(1/√n)，表明当平滑度参数 γ 被适当选择时，平滑性可带来优势。
• 统一分析表明，优化误差、泛化误差与风险转换误差之间的相互作用决定了最终性能，若平滑度参数 γ 选择得当，平滑性可成为优势。
• 该结果意味着，在训练数据有限的情况下，使用平滑凸损失可在比非平滑替代方案更少的优化迭代次数下实现更好的泛化性能。