[论文解读] Iterative Regularization for Learning with Convex Loss Functions

Junhong Lin, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Mar 31, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用 14

一句话总结

本文提出了一种针对凸损失函数的新型迭代正则化方法，通过子梯度法的早停实现泛化，无需显式正则化。该方法建立了过剩风险的有限样本界，表明最后一步迭代的性能与平均迭代或最佳迭代相当，为非最小二乘设置下的早停提供了理论基础。

ABSTRACT

We consider the problem of supervised learning with convex loss functions and propose a new form of iterative regularization based on the subgradient method. Unlike other regularization approaches, in iterative regularization no constraint or penalization is considered, and generalization is achieved by (early) stopping an empirical iteration. We consider a nonparametric setting, in the framework of reproducing kernel Hilbert spaces, and prove finite sample bounds on the excess risk under general regularity conditions. Our study provides a new class of efficient regularized learning algorithms and gives insights on the interplay between statistics and optimization in machine learning.

研究动机与目标

• 开发一种新的凸损失函数学习正则化框架，整合优化与统计学习理论。
• 分析通过早停实现的迭代正则化的泛化性质，无需显式惩罚或约束。
• 在非参数设定下，利用再生核希尔伯特空间（RKHS）建立过剩风险的有限样本界。
• 证明子梯度法的最后一步迭代可达到与平均迭代或最佳迭代相同的收敛速率。
• 统一统计与优化视角，分析学习算法的理论性质。

提出的方法

• 该方法在经验风险上应用子梯度下降算法，基于损失函数的次梯度进行迭代更新。
• 正则化并非通过惩罚项实现，而是通过迭代过程的早停达成。
• 算法在再生核希尔伯特空间（RKHS）中运行，支持非参数函数估计。
• 采用三重误差分解：计算误差（来自优化过程）、样本误差（来自有限数据）、近似误差（来自模型类）。
• 理论分析结合凸分析与经验过程理论，以界定过剩风险。
• 步长与停止规则基于理论推导选择，以确保最优收敛速率。

实验结果

研究问题

• RQ1 子梯度法的早停是否可作为一般凸损失函数的合理正则化策略？
• RQ2 在迭代正则化中，计算误差、统计误差与近似误差如何共同影响整体过剩风险？
• RQ3 子梯度法的最后一步迭代是否可达到与平均迭代或最佳迭代相同的泛化性能？
• RQ4 迭代正则化在凸损失下的有限样本收敛速率是多少？其如何依赖于问题参数？
• RQ5 所提方法能否推广至光滑损失函数？其对应的收敛速率如何？

主要发现

• 子梯度法的最后一步迭代达到了与平均迭代相同的收敛速率，这与经典子梯度方法分析相悖。
• 建立了过剩风险的有限样本界，其速率量级为 $ m^{-\beta\tilde{\theta}\gamma} \log(2/\delta) $，其中 $ \gamma $ 依赖于光滑性与近似参数。
• 对于合页损失，过剩风险以速率 $ m^{-\alpha} $ 收敛，其中 $ \alpha = \frac{1}{2+1/\beta} $，与已知最优速率一致。
• 学习率取决于目标函数的光滑性（$ \beta $）、损失函数行为（$ q, \theta $）与数据分布（$ \tau $）之间的相互作用。
• 理论框架提供了一种统一的误差分解，可分离优化与统计贡献，从而支持对迭代学习算法的深入分析。
• 结果验证了早停作为一种原则性正则化方法的有效性，其理论依据不仅限于最小二乘，还可推广至一般凸损失。