[论文解读] Almost Tune-Free Variance Reduction

Bingcong Li, Lingda Wang+1 more|arXiv (Cornell University)|Aug 25, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用 6

一句话总结

本文通过集成Barzilai-Borwein（BB）步长、新颖的平均方案以及与BB步长成反比的自适应内层循环长度，提出了几乎无需调参的SVRG和SARAH变体。该方法在极少超参数调优的情况下实现线性收敛，在真实数据集上优于调优后的基线模型，并展现出无需网格搜索步长或循环长度的鲁棒性。

ABSTRACT

The variance reduction class of algorithms including the representative ones, SVRG and SARAH, have well documented merits for empirical risk minimization problems. However, they require grid search to tune parameters (step size and the number of iterations per inner loop) for optimal performance. This work introduces `almost tune-free' SVRG and SARAH schemes equipped with i) Barzilai-Borwein (BB) step sizes; ii) averaging; and, iii) the inner loop length adjusted to the BB step sizes. In particular, SVRG, SARAH, and their BB variants are first reexamined through an `estimate sequence' lens to enable new averaging methods that tighten their convergence rates theoretically, and improve their performance empirically when the step size or the inner loop length is chosen large. Then a simple yet effective means to adjust the number of iterations per inner loop is developed to enhance the merits of the proposed averaging schemes and BB step sizes. Numerical tests corroborate the proposed methods.

研究动机与目标

• 为解决SVRG和SARAH等方差缩减算法中步长和内层循环长度等关键超参数调优的挑战。
• 开发一种实用且鲁棒的优化框架，在保持或提升收敛速度的同时最小化人工调参。
• 从理论和实证两方面验证：BB步长结合自适应循环长度与新平均方案可实现近乎无需调参的性能表现。
• 基于估计序列框架，建立统一的理论体系，推导出采用新型平均方法的SVRG和SARAH的更紧致收敛速率。
• 证明简单参数选择（如c=1，θκ=κ）可实现稳定且高性能的算法，且在实际中不会发散。

提出的方法

• 将Barzilai-Borwein（BB）步长引入，实现每轮迭代自动调整学习率，从而消除手动调参的需要。
• 基于估计序列框架，提出新型平均方案——特别是加权平均（W-Avg），以提升收敛性和稳定性。
• 动态调整内层循环长度 $ m^s $ 为 $ m^s = c / (\mu \eta^s) $，其中 $ \eta^s $ 为BB步长，确保无论步长大小均能收敛。
• 采用理论估计序列视角，重新推导SVRG和SARAH的收敛速率，实现更紧的界并改进平均策略。
• 使用 $ \theta_\kappa = \kappa $ 和 $ c = 1 $ 作为默认参数，其在实验中表现稳定且无需调优，实现‘几乎无需调参’的行为。
• 将所提出的BB-SVRG与BB-SARAH算法应用于真实数据集上的正则化逻辑回归，与SGD、调优后的SVRG及采用U-Avg的SARAH进行比较。

实验结果

研究问题

• RQ1 BB步长能否有效与方差缩减算法结合，以减少甚至消除对人工超参数调优的需求？
• RQ2 如何基于估计序列框架重新定义平均方案，以提升双层算法中的收敛速率与实际性能？
• RQ3 在基于BB的SVRG与SARAH中，内层循环长度与步长之间应保持何种最优关系，以确保收敛与稳定性？
• RQ4 是否可通过简单固定的参数选择（如 $ c=1 $，$ \theta_\kappa = \kappa $）在多种数据集上实现鲁棒性能，且不发生发散？
• RQ5 所提方法是否能在无需对步长或循环长度进行网格搜索的情况下，实现与调优基线相当或更优的性能？

主要发现

• BB-SARAH在a9a数据集上的表现优于调优后的SARAH，证明了其在无需超参数调优情况下的优越实际性能。
• 在a9a数据集上，BB-SVRG在约40轮遍历后达到与调优SVRG相当的性能，展现出强大的收敛稳定性。
• 在rcv1与real-sim数据集上，BB-SARAH与BB-SVRG的表现与各自的调优基线相当或略优，表明其性能具有持续鲁棒性。
• 所提方法在 $ c=1 $ 与 $ \theta_\kappa = \kappa $ 条件下，数值实验中未出现发散，验证了其在实际应用中的鲁棒性，尽管理论条件略有放松。
• BB步长、自适应内层循环长度与W-Avg的结合实现了线性收敛，且调优极少，实际中表现出‘几乎无需调参’的行为。