[论文解读] A Lower Bound for the Optimization of Finite Sums

Alekh Agarwal, Léon Bottou|arXiv (Cornell University)|Oct 2, 2014

Stochastic Gradient Optimization Techniques参考文献 17被引用 46

一句话总结

本文建立了对 $ n $ 个 $ L $-光滑且 $ \mu $-强凸函数的有限和优化的理论下界，表明任何确定性算法都无法在少于 $ \Omega(n + \sqrt{n(\kappa - 1)}\log(1/\epsilon)) $ 次迭代内达到 $ \epsilon $-精度，其中 $ \kappa = L/\mu $。该结果揭示了增量一阶方法的根本极限，并表明其几乎最优，与当前最先进的方法（如 SAG、SVRG 和 SAGA）仅存在微小差距。

ABSTRACT

This paper presents a lower bound for optimizing a finite sum of $n$ functions, where each function is $L$-smooth and the sum is $μ$-strongly convex. We show that no algorithm can reach an error $ε$ in minimizing all functions from this class in fewer than $Ω(n + \sqrt{n(κ-1)}\log(1/ε))$ iterations, where $κ=L/μ$ is a surrogate condition number. We then compare this lower bound to upper bounds for recently developed methods specializing to this setting. When the functions involved in this sum are not arbitrary, but based on i.i.d. random data, then we further contrast these complexity results with those for optimal first-order methods to directly optimize the sum. The conclusion we draw is that a lot of caution is necessary for an accurate comparison, and identify machine learning scenarios where the new methods help computationally.

研究动机与目标

• 建立确定性算法在最小化 $ n $ 个光滑且强凸函数的有限和问题时，迭代复杂度的根本下界。
• 阐明增量一阶优化方法相较于标准随机和批量方法的理论极限。
• 探究现有方法（如 SAG、SVRG 和 SAGA）是否接近最优，或是否存在进一步改进的空间。
• 考察该下界在 $ n $ 个函数为从某一分布中独立同分布抽取的随机样本的统计设定下的影响。
• 识别增量方法在计算上相对于标准一阶方法具有优势的场景，尤其是在病态条件问题中。

提出的方法

• 引入增量一阶预言机（IFO）复杂度模型，其中算法在点 $ x $ 处查询单个函数 $ g_i $ 的梯度。
• 通过精心设计的一系列函数构造对抗预言机论证，模拟确定性算法的最坏情况行为。
• 对迭代序列 $ x_K $ 进行递归分析，表明在最坏初始化下，误差 $ \|x_K - x^*_f\| $ 的减小速度至多为 $ \gamma q^{4K/n} $，其中 $ q < 1 $。
• 应用詹森不等式和凸性论证，推导出误差增长的下界，从而得出最终的复杂度下界。
• 利用一个涉及对数不等式的技巧性引理，对 $ \epsilon < 1 $ 的情形进一步细化下界，确保该下界对小的 $ \epsilon $ 依然成立。
• 将推导出的下界与已知 IFO 方法（如 SAG、SVRG、SAGA）及对偶坐标方法（如 ASDCA、SPDC）的上界进行比较，表明下界是紧致的。

实验结果

研究问题

• RQ1 最小化 $ n $ 个 $ L $-光滑且 $ \mu $-强凸函数的有限和问题至 $ \epsilon $-精度，所需 IFO 查询的最少次数是多少？
• RQ2 与 SAG、SVRG 和 SAGA 等现有 IFO 方法的上界相比，确定性算法的下界如何？
• RQ3 在病态条件问题中，增量一阶方法是否能显著优于标准一阶方法？
• RQ4 该问题的有限和结构是否允许其收敛速度优于一般随机或批量优化方法？
• RQ5 在 $ n $ 个函数为从某一分布中独立同分布抽取的随机样本的统计设定下，增量方法是否仍相对于最优一阶方法具有计算优势？

主要发现

• 本文建立了任何确定性算法在将 $ n $ 个 $ L $-光滑且 $ \mu $-强凸函数的有限和最小化至 $ \epsilon $-精度时，所需迭代次数的下界为 $ \Omega(n + \sqrt{n(\kappa - 1)}\log(1/\epsilon)) $。
• 该下界几乎紧致，因为现有 IFO 方法（如 SAG、SVRG、SAGA）的迭代复杂度为 $ \mathcal{O}((n + \kappa)\log(1/\epsilon)) $，仅在对数和常数因子上存在差异。
• 对偶坐标方法（如 ASDCA 和 SPDC）可达到更接近的上界，但并非 IFO 方法，表明 IFO 方法与对偶方法之间可能存在差距。
• 在病态条件问题中（$ \kappa \gg 1 $），SAG 和 SVRG 等增量方法显著优于标准一阶方法，后者收敛速度受限于 $ \Omega(1/k) $。
• 目前该下界尚未扩展至随机算法，尽管作者推测类似下界成立，并正在为随机情形构建证明。
• 在独立同分布数据的统计设定下，最坏情况分析可能无法反映实际性能，且 ASDCA 等方法可能劣于 SAG 等 IFO 方法，凸显了问题相关常数的重要性。