[论文解读] Lower Bounds for Smooth Nonconvex Finite-Sum Optimization

Dongruo Zhou, Quanquan Gu|arXiv (Cornell University)|Jan 31, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用 7

一句话总结

本文為光滑非凸有限和优化中的增量一阶Oracle（IFO）复杂度建立了紧致的下界，证明了KatyushaX、Natasha、RapGrad和StagewiseKatyusha等现有算法在广泛的Hessian特征值区间内达到最优的IFO复杂度，仅相差对数因子。结果在一般光滑性假设下确认了这些方法的最优性。

ABSTRACT

Smooth finite-sum optimization has been widely studied in both convex and nonconvex settings. However, existing lower bounds for finite-sum optimization are mostly limited to the setting where each component function is (strongly) convex, while the lower bounds for nonconvex finite-sum optimization remain largely unsolved. In this paper, we study the lower bounds for smooth nonconvex finite-sum optimization, where the objective function is the average of $n$ nonconvex component functions. We prove tight lower bounds for the complexity of finding $ε$-suboptimal point and $ε$-approximate stationary point in different settings, for a wide regime of the smallest eigenvalue of the Hessian of the objective function (or each component function). Given our lower bounds, we can show that existing algorithms including KatyushaX (Allen-Zhu, 2018), Natasha (Allen-Zhu, 2017), RapGrad (Lan and Yang, 2018) and StagewiseKatyusha (Chen and Yang, 2018) have achieved optimal Incremental First-order Oracle (IFO) complexity (i.e., number of IFO calls) up to logarithm factors for nonconvex finite-sum optimization. We also point out potential ways to further improve these complexity results, in terms of making stronger assumptions or by a different convergence analysis.

研究动机与目标

• 为填补光滑非凸有限和优化中理论下界理解的空白，此前研究多集中于凸或强凸设置。
• 确定在非凸有限和问题中寻找ε-次优解和ε-近似驻点的IFO复杂度的基本极限。
• 分析Hessian最小特征值（l）对算法复杂度的影响，涵盖凸与非凸情形。
• 通过将现有最先进算法的IFO复杂度与推导出的下界进行比较，验证其最优性。
• 通过更强的假设或更精细的收敛性分析，识别进一步改进的潜在方向。

提出的方法

• 构建具有特定光滑性和Hessian特征值性质的精心设计的有限和问题，以推导下界。
• 通过函数缩放和变换，将凸优化中已知的困难问题转化为非凸有限和设置的约化框架。
• 应用线性张量一阶随机算法的概念，以建模一般一阶方法并推导复杂度下界。
• 通过缩放（f_i = λ·f̄_i(x/β)）对函数进行变换，以保持光滑性和Hessian结构，同时调整函数值和距离。
• 利用迭代中支持集和稀疏性的性质，证明若IFO调用不足，将导致较大的次优性或较高的梯度范数。
• 在(l, L)-光滑性下，证明了对ε-次优解（凸/强凸情形）和ε-近似驻点（非凸情形）的下界。

实验结果

研究问题

• RQ1 在光滑非凸有限和优化中，寻找ε-次优解的IFO复杂度的最紧致可能下界是什么？
• RQ2 最小Hessian特征值（l）如何影响非凸有限和问题中的基本复杂度极限？
• RQ3 KatyushaX、Natasha、RapGrad和StagewiseKatyusha等现有算法在非凸有限和问题中是否在IFO复杂度上达到最优？
• RQ4 在更强假设或不同收敛性分析下，一阶方法的IFO复杂度是否可进一步改进？
• RQ5 Hessian结构和函数变换在推导非凸有限和问题下界中起什么作用？

主要发现

• 本文证明，当F为σ-强凸时，寻找ε-次优解的下界为Ω(n + n^{3/4}√(L/σ) log(1/ε))，与KatyushaX的IFO复杂度仅相差对数因子。
• 对于凸F（l ≥ 0），下界为Ω(n + n^{3/4}√(L/ε))，与无对偶性的SDCA和KatyushaX的复杂度一致。
• 对于非凸F（l = -σ < 0），寻找ε-近似驻点的下界为Ω((nσ + √(nσL))/ε²)，与RapGrad和StagewiseKatyusha的复杂度一致。
• 下界在最小Hessian特征值l的广泛范围内保持紧致，涵盖凸与非凸情形。
• 结果确认，包括KatyushaX、Natasha、RapGrad和StagewiseKatyusha在内的现有算法在IFO复杂度上达到最优，仅相差对数因子。
• 本文指出，通过引入更强假设或采用其他收敛性分析技术，可能实现进一步改进。