[论文解读] Learning with incremental iterative regularization

Lorenzo Rosasco, Silvia Villa|arXiv (Cornell University)|Apr 30, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用 15

一句话总结

本文提出了一种基于在线梯度法的最小二乘学习的增量迭代正则化方法，其中数据遍历次数（轮次）作为正则化参数。该文建立了风险的几乎必然收敛性，并提供了紧致的有限样本界，证明了基于轮次计数的早停策略可实现普遍一致性，且无需显式惩罚即可达到Tikhonov正则化的表现性能。

ABSTRACT

Within a statistical learning setting, we propose and study an iterative regularization algorithm for least squares defined by an incremental gradient method. In particular, we show that, if all other parameters are fixed a priori, the number of passes over the data (epochs) acts as a regularization parameter, and prove strong universal consistency, i.e. almost sure convergence of the risk, as well as sharp finite sample bounds for the iterates. Our results are a step towards understanding the effect of multiple epochs in stochastic gradient techniques in machine learning and rely on integrating statistical and optimization results.

研究动机与目标

• 为了从理论上理解在线/随机梯度学习算法中早停的泛化性质。
• 为了分析数据遍历次数（轮次）如何在无显式惩罚的情况下充当正则化参数。
• 为过剩风险和迭代点推导出与Tikhonov正则化相匹配的有限样本界。
• 在容量无关、维度无关的设定下，建立强普遍一致性（风险的几乎必然收敛）。
• 在分析具有增量正则化的在线学习时，弥合统计学习理论与优化理论之间的鸿沟。

提出的方法

• 该算法使用一种增量梯度方法，在多个轮次中按顺序处理每个数据点后更新解。
• 正则化通过早停隐式实现，其中轮次数量是唯一的自由参数。
• 理论分析结合了统计学习理论与优化收敛结果，基于对核函数和目标函数正则性的假设。
• 利用浓度不等式和算子范数估计推导出有限样本界，对迭代点与真实解之间的偏差给出了高概率界。
• 分析依赖于对核积分算子的特征值衰减和再生核Hilbert空间中目标函数光滑性的假设。
• 停止规则通过最小化过剩风险的上界推导得出，从而得到作为样本大小函数的最优轮次数量。

实验结果

研究问题

• RQ1 在增量在线学习算法中，轮次数量能否作为有效的正则化参数？
• RQ2 在此类设置下，早停是否能实现普遍一致性（风险的几乎必然收敛）？
• RQ3 能否为该正则化方案下的过剩风险和迭代点推导出紧致的有限样本界？
• RQ4 与经典的Tikhonov正则化相比，增量迭代正则化的收敛速率如何？
• RQ5 在何种轮次数量下可实现最优停止规则，以最小化过剩风险界？

主要发现

• 轮次数量充当正则化参数，且早停可确保风险几乎必然收敛至最优值。
• 推导出了迭代点的有限样本界，并证明其与同一设定下Tikhonov正则化已知的最佳率相匹配。
• 在可实现情况下，最优停止规则为 t*(n) = ⌈n^{1/(2r+1)}⌉，迭代误差的收敛率为 O(n^{-(1/2-r)/(2r+1)})。
• 在过剩风险方面，非可实现情况下最优停止规则为 t*(n) = ⌈n^{1/3}⌉，收敛率为 O(n^{-2r/3})。
• 该分析为容量无关且维度无关，仅依赖于光滑性和特征值衰减的假设。
• 结果证实，在随机梯度方法中进行多次遍历（轮次）可被严格证明为一种正则化形式，为一种广泛使用的启发式方法提供了理论依据。