[论文解读] Lower Complexity Bounds of Finite-Sum Optimization Problems: The Results and Construction

Yuze Han, Guangzeng Xie+1 more|arXiv (Cornell University)|Mar 15, 2021

Sparse and Compressive Sensing Techniques参考文献 40被引用 13

一句话总结

本文通过一种新颖的构造方法，将三对角矩阵划分为 n 个组，为有限和极小极大优化问题建立了近乎紧致的下界复杂度。该方法适用于近端增量一阶（PIFO）算法的分析。结果表明，与梯度预言机相比，近端预言机提供的优势微乎其微，且在 L-平均光滑性及凸-凹或非凸-强凹设定下，下界与现有上界仅相差对数因子。

ABSTRACT

In this paper, we study the lower complexity bounds for finite-sum optimization problems, where the objective is the average of $n$ individual component functions. We consider Proximal Incremental First-order (PIFO) algorithms which have access to the gradient and proximal oracles for each component function. To incorporate loopless methods, we also allow PIFO algorithms to obtain the full gradient infrequently. We develop a novel approach to constructing the hard instances, which partitions the tridiagonal matrix of classical examples into $n$ groups. This construction is friendly to the analysis of PIFO algorithms. Based on this construction, we establish the lower complexity bounds for finite-sum minimax optimization problems when the objective is convex-concave or nonconvex-strongly-concave and the class of component functions is $L$-average smooth. Most of these bounds are nearly matched by existing upper bounds up to log factors. We can also derive similar lower bounds for finite-sum minimization problems as previous work under both smoothness and average smoothness assumptions. Our lower bounds imply that proximal oracles for smooth functions are not much more powerful than gradient oracles.

研究动机与目标

• 为填补随机 PIFO 算法在有限和极小极大问题中基本极限理解上的空白。
• 开发一种与 PIFO 算法兼容的新硬实例构造方法，包括全梯度访问频率较低的无循环变体。
• 在 L-平均光滑性条件下，推导凸-凹与非凸-强凹有限和极小极大问题的下界复杂度。
• 比较有限和优化中近端预言机与梯度预言机的性能，表明近端访问带来的性能提升微乎其微。
• 为有限和最小化与极小极大问题提供近乎紧致的下界，其与现有上界仅相差对数因子。

提出的方法

• 通过将经典三对角矩阵划分为 n 组，提出一种新颖的硬实例构造方法，专用于 PIFO 算法分析。
• 定义一种 PIFO 预言机，可为每个分量函数提供函数值、梯度和近端映射，允许全梯度访问频率较低。
• 在 L-平均光滑性及 (μx, μy)-凸-凹或非凸-强凹假设下分析算法。
• 利用硬实例中的递归结构，证明 PIFO 算法无法快于某一速率取得进展，从而导出下界。
• 应用关于特定条件下近端算子行为的引理，证明解空间在迭代间保持不变。
• 通过证明任意 PIFO 算法为达到 ε-次优性或 ε-平稳性必须调用一定数量的预言机查询，推导出下界。

实验结果

研究问题

• RQ1 求解有限和极小极大问题并达到 ε-精度时，PIFO 预言机查询的理论下界是多少？
• RQ2 与仅使用梯度预言机相比，近端预言机的引入如何影响有限和极小极大优化的复杂度？
• RQ3 能否设计一种新颖的硬实例构造方法，以捕捉 PIFO 算法的行为，包括全梯度访问间隔呈几何分布的无循环方法？
• RQ4 现有有限和极小极大问题的上界与推导出的下界在多大程度上匹配，仅相差对数因子？
• RQ5 在 L-平均光滑性条件下，近端预言机在有限和设置下的能力是否显著超过梯度预言机？

主要发现

• 本文在 L-平均光滑性条件下，为有限和极小极大问题建立了近乎紧致的下界复杂度，其与现有上界仅相差对数因子。
• 通过三对角矩阵划分构造的硬实例，使 PIFO 算法的分析更加清晰，并准确捕捉了无循环与双循环方法的局限性。
• 在有限和极小极大问题中，近端预言机相较于梯度预言机几乎不提供优势，因为下界与无近端访问时几乎相同。
• 在凸-凹与非凸-强凹设定下，下界表明，任何 PIFO 算法都无法快于所推导的速率实现 ε-次优性或 ε-平稳性。
• 该结果可推广至光滑性与平均光滑性条件下的有限和最小化问题，证实了在这些情形下已知上界的紧致性。
• 分析结果表明，求解有限和问题的复杂度从根本上受限于分量函数的访问次数，无论使用近端还是梯度预言机。