[论文解读] MISO is Making a Comeback With Better Proofs and Rates

Xun Qian, Alibek Sailanbayev+2 more|arXiv (Cornell University)|Jun 4, 2019

Stochastic Gradient Optimization Techniques参考文献 28被引用 6

一句话总结

该论文通过引入仅需光滑常数且无需额外参数的新变体，使MISO算法重获新生，从而在不假设强凸性的情况下实现收敛性保证。该方法对凸与非凸问题均实现线性收敛，首次实现具有线性加速效果的随机小批量MISO，并通过改进的理论分析与实际效率，在真实数据集上优于SAGA与SVRG。

ABSTRACT

MISO, also known as Finito, was one of the first stochastic variance reduced methods discovered, yet its popularity is fairly low. Its initial analysis was significantly limited by the so-called Big Data assumption. Although the assumption was lifted in subsequent work using negative momentum, this introduced a new parameter and required knowledge of strong convexity and smoothness constants, which is rarely possible in practice. We rehabilitate the method by introducing a new variant that needs only smoothness constant and does not have any extra parameters. Furthermore, when removing the strong convexity constant from the stepsize, we present a new analysis of the method, which no longer uses the assumption that every component is strongly convex. This allows us to also obtain so far unknown nonconvex convergence of MISO. To make the proposed method efficient in practice, we derive minibatching bounds with arbitrary uniform sampling that lead to linear speedup when the expected minibatch size is in a certain range. Our numerical experiments show that MISO is a serious competitor to SAGA and SVRG and sometimes outperforms them on real datasets.

研究动机与目标

• 为解决MISO这一开创性随机方差缩减方法在流行度与理论约束方面的局限性。
• 消除MISO步长中对强凸性常数与额外参数的依赖，提升实用性。
• 通过在分析中去除强凸性假设，实现对非凸问题的收敛性证明。
• 开发首个采用任意均匀采样且具有理论保证线性加速效果的小批量MISO变体。

提出的方法

• 提出一种新型MISO变体，仅依赖光滑常数L，无需额外参数，从而替代对强凸性常数的需求。
• 提出一种新颖的收敛性分析，避免依赖大数据假设，且不要求每个分量均为强凸。
• 在任意均匀采样下推导小批量边界，当期望小批量大小处于特定范围时可实现线性加速。
• 采用极大化-最小化（MM）框架，结合精心设计的代理函数与更新规则，确保算法稳定与收敛。
• 采用阶为 $ n/L $ 的无参数步长，提升鲁棒性与实用性。
• 基于统一的分析框架，建立凸、强凸与非凸情形下的收敛速率。

实验结果

研究问题

• RQ1 能否通过更简单、无参数的MISO变体，避免对强凸性常数的依赖，从而实现MISO的复兴？
• RQ2 采用任意均匀采样的小批量MISO变体是否在理论与实践中均实现线性加速？
• RQ3 能否在不假设分量级强凸性的前提下，将MISO的收敛性分析扩展至非凸问题？
• RQ4 在所提出的MISO变体中，确保线性加速的最优小批量大小范围为何？
• RQ5 在真实世界数据集上，新MISO变体与SAGA、SVRG相比在实际表现中如何？

主要发现

• 所提出的MISO变体在无需强凸性参数知识的前提下，对凸与非凸问题均实现线性收敛。
• 该方法采用阶为 $ n/L $ 的步长，消除对额外参数的需求，显著提升实用性。
• 提出的新理论分析摒弃了大数据假设，且不要求每个分量均为强凸。
• 首次开发出采用任意均匀采样的小批量MISO变体，在期望小批量大小处于特定范围时实现线性加速。
• 数值实验表明，MISO在真实数据集上的表现优于或等同于SAGA与SVRG，展现出强大的实际竞争力。
• 该方法在收敛速率上达到或优于先前MISO变体，尤其在非凸情形下表现更优。