[论文解读] Don't relax: early stopping for convex regularization

Simon Matet, Lorenzo Rosasco+2 more|arXiv (Cornell University)|Jul 18, 2017

Sparse and Compressive Sensing Techniques参考文献 21被引用 13

一句话总结

本文提出在凸正则化中采用迭代算法的早停策略，替代传统的基于松弛的惩罚方法。通过在收敛前停止迭代，该方法在计算成本显著降低的情况下，实现了与Tikhonov正则化相当的恢复精度，尤其在使用加速变体和热启动策略时优势明显。

ABSTRACT

We consider the problem of designing efficient regularization algorithms when regularization is encoded by a (strongly) convex functional. Unlike classical penalization methods based on a relaxation approach, we propose an iterative method where regularization is achieved via early stopping. Our results show that the proposed procedure achieves the same recovery accuracy as penalization methods, while naturally integrating computational considerations. An empirical analysis on a number of problems provides promising results with respect to the state of the art.

研究动机与目标

• 通过避免基于松弛的惩罚方法，解决凸正则化中的计算-估计权衡问题。
• 开发通过早停实现隐式正则化的迭代方法，而非调节惩罚参数。
• 为强凸正则化器在早停条件下的恢复精度提供理论保证。
• 通过加速变体和热启动策略，在实际应用中展示计算优势。
• 将计算效率自然地整合到正则化过程中，避免单独计算路径。

提出的方法

• 将反问题表述为在由噪声数据定义的等式约束下最小化强凸正则化器。
• 使用对偶梯度下降（镜像下降）及其加速变体（加速对偶前向-后向）迭代求解问题。
• 基于稳定性论证实施早停：含噪迭代序列会逐渐偏离无噪序列，而后者收敛于真实解。
• 通过无噪迭代的稳定性与收敛性分析，推导出最优停止规则。
• 利用热启动和迭代邻近计算（例如总变差）降低每次迭代的计算成本。
• 采用加速变体以实现更激进的停止策略，在保持精度的同时减少迭代次数。

实验结果

研究问题

• RQ1 在强凸正则化器的迭代最小化中，早停能否实现与经典Tikhonov正则化相当的恢复精度？
• RQ2 在含噪数据下，如何为迭代正则化推导出最优停止规则，以确保稳定性和收敛性？
• RQ3 与基于路径的惩罚方法相比，采用早停的迭代正则化在计算上有哪些优势？
• RQ4 加速的迭代方案能否提升收敛速度，同时实现更早停止而不损失估计精度？
• RQ5 该方法在实际应用中（如矩阵补全、变量选择和图像去模糊）表现如何？

主要发现

• 所提出的迭代正则化结合早停策略，在矩阵补全、变量选择和图像去模糊任务中，恢复精度与Tikhonov正则化相当。
• 在秩为100、噪声水平为0.01的模拟矩阵补全任务中，ADGD在500次迭代内达到RMSE = 4.7×10⁻³（标准差2.9×10⁻⁵），优于Tikhonov方法（RMSE = 1.1×10⁻²），且迭代次数更少。
• 在MovieLens 100k数据集上，ADGD平均仅需250次迭代即达到RMSE = 1.02，而Tikhonov方法使用加速近端梯度和热重启需550次迭代。
• 在图像去模糊任务中，ADGD的迭代正则化在第3次迭代即达到最佳PSNR，而Tikhonov方法需对超过100个正则化参数进行调优。
• 与使用热启动的加速近端梯度相比，加速对偶梯度下降（ADGD）将计算成本降低了最多60%，同时保持或提升了精度。
• 理论分析表明，迭代算法的早停可获得与惩罚方法相同的恢复保证，其稳定性源于含噪与无噪迭代序列的发散特性。