[论文解读] Adaptive Step Sizes in Variance Reduction via Regularization

Bingcong Li, Georgios B. Giannakis|arXiv (Cornell University)|Oct 15, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用 5

一句话总结

该论文提出了一种基于正则化的方法，使Barzilai-Borwein（BB）步长可在凸与非凸有限和优化问题中应用，而这些问题通常需要强凸性才能使BB方法有效。通过添加一个简单的二次正则项，该方法将原始问题转化为一个强凸的代理问题，从而安全且有效地应用BB步长，实现了比原始SARAH及其他自适应方法更优的收敛复杂度与实际性能。

ABSTRACT

The main goal of this work is equipping convex and nonconvex problems with Barzilai-Borwein (BB) step size. With the adaptivity of BB step sizes granted, they can fail when the objective function is not strongly convex. To overcome this challenge, the key idea here is to bridge (non)convex problems and strongly convex ones via regularization. The proposed regularization schemes are extit{simple} yet effective. Wedding the BB step size with a variance reduction method, known as SARAH, offers a free lunch compared with vanilla SARAH in convex problems. The convergence of BB step sizes in nonconvex problems is also established and its complexity is no worse than other adaptive step sizes such as AdaGrad. As a byproduct, our regularized SARAH methods for convex functions ensure that the complexity to find $\mathbb{E}[\| abla f(\mathbf{x}) \|^2]\leq ε$ is ${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$, improving $ε$ dependence over existing results. Numerical tests further validate the merits of proposed approaches.

研究动机与目标

• 解决Barzilai-Borwein（BB）步长的局限性，即其需要强凸性，且在一般凸或非凸设置下会失效。
• 通过正则化将非凸与凸问题桥接到强凸问题，使BB步长可适用。
• 改进如SARAH等方差减少方法在凸设置下的收敛复杂度，特别是对ε的依赖性。
• 为非凸问题中的BB步长建立理论收敛保证，其性能可与AdaGrad等自适应方法相媲美。
• 通过逻辑回归与非凸损失函数上的数值实验，对所提方法进行实证验证。

提出的方法

• 引入一种递归二次正则化方案，在目标函数中增加项μs(x − x̃s−1)，将其转化为强凸的代理函数。
• 在正则化函数f̃s(x) = f(x) + ½μs‖x − x̃s−1‖²上应用BB步长，确保步长定义良好且稳定。
• 以SARAH算法作为基础的方差减少方法，并将BB步长适配到正则化子问题中。
• 基于代理函数的梯度范数，推导出正则化参数μs的递归更新规则。
• 实现一种高效策略，重用前一正则化子问题中的完整梯度计算，避免冗余评估。
• 为凸与非凸情形建立收敛复杂度界，表明相比先前工作，其对ε的依赖性更优。

实验结果

研究问题

• RQ1 BB步长能否在不依赖强凸性的情况下，有效应用于凸与非凸有限和问题？
• RQ2 何种正则化策略可将一般（非）凸问题转化为强凸问题，以使BB步长得以应用？
• RQ3 在凸设置下，BB-SARAH的收敛复杂度与原始SARAH及其他自适应方法（如AdaGrad）相比如何？
• RQ4 在所提正则化下，BB步长在非凸有限和问题中的理论收敛行为如何？
• RQ5 所提方法能否在实际性能上优于基线SARAH及AdaGrad或改进版BB-SARAH等自适应方法？

主要发现

• 所提正则化SARAH方法在凸问题中实现收敛复杂度为O((n + 1/√ε) ln(1/ε))，用于寻找满足E[‖∇f(x)‖²] ≤ ε的解，相比现有结果，其对ε的依赖性更优。
• 在凸问题中，BB步长结合正则化不增加额外复杂度，相比原始SARAH，实现了收敛速率上的“免费午餐”。
• 在非凸问题中，所提BB-SARAH方法的收敛复杂度与AdaGrad相当，且不劣于其他自适应步长方法。
• 在a3a数据集上的数值结果表明，所提正则化方案（尤其是Alg. 3 v2）在凸与非凸设置下均显著优于原始SARAH。
• Ma等人（2018）提出的改进BB步长与AdaGrad在早期迭代中收敛迅速，但在最终收敛阶段被所提方法超越。
• 所提实现策略重用了前一子问题中的完整梯度计算，降低了计算开销，并支持高效的递归更新。