[论文解读] A unifying framework for the analysis of projection-free first-order methods under a sufficient slope condition

Francesco Rinaldi, Damiano Zeffiro|arXiv (Cornell University)|Aug 22, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 5

一句话总结

本文提出了一种统一框架，用于分析无投影一阶方法，采用短步长链（SSC）过程，通过在连续短步长期间跳过梯度计算，消除了对'好'步与'坏'步进行区分的需要。在充分下降条件成立的前提下，该框架为光滑非凸问题建立了全局收敛速率，并在Kurdyka-Łojasiewicz（KL）性质下实现了局部线性收敛——此前此类方法尚未对此类情形进行分析——在有利条件下，其收敛速率与投影梯度方法相当。

ABSTRACT

The analysis of projection-free first order methods is often complicated by the presence of different kinds of "good" and "bad" steps. In this article, we propose a unifying framework for projection-free methods, aiming to simplify the converge analysis by getting rid of such a distinction between steps. The main tool employed in our framework is the Short Step Chain (SSC) procedure, which skips gradient computations in consecutive short steps until proper stopping conditions are satisfied. This technique allows us to give a unified analysis and converge rates in the general smooth non convex setting, as well as convergence rates under a Kurdyka-Lojasiewicz (KL) property, a setting that, to our knowledge, has not been analyzed before for the projection-free methods under study. In this context, we prove local convergence rates comparable to those of projected gradient methods under the same conditions. Our analysis relies on a sufficient slope condition, ensuring that the directions selected by the methods have the steepest slope possible up to a constant among feasible directions. This condition is satisfied, among others, by several Frank-Wolfe (FW) variants on polytopes, and by some projection-free methods on convex sets with smooth boundary.

研究动机与目标

• 为解决由于需区分'好'步与'坏'步而引起的无投影方法收敛分析复杂性问题。
• 在单一框架下统一分析各类Frank-Wolfe变体与无投影方法。
• 在Kurdyka-Łojasiewicz（KL）性质下，为光滑非凸目标函数建立收敛速率，该设置此前未被此类方法分析过。
• 证明在充分下降条件成立时，收敛速率与相同条件下投影梯度方法的速率一致。
• 消除因过多短步长导致的不切实际的收敛界，例如PFW算法中的O(N!)界。

提出的方法

• 短步长链（SSC）过程将连续的短步长相连接，在停止条件满足前跳过梯度计算，从而简化收敛分析。
• 该框架依赖于一个充分下降条件：所选方向必须在可行方向中与最陡下降方向保持常数倍以内。
• 分析采用微分不等式框架，使用函数 α(t) = Mb√(1/a) t^{θ−1} 来建模目标函数子最优性的衰减。
• 通过递归应用 σα 推导收敛界，并对 θ ∈ (0, 1/2] 和 θ = 1/2 分析其渐近行为。
• 通过利用SSC，避免在每次迭代中求解线性规划子问题，从而降低计算开销。
• 理论结果通过李雅普诺夫型函数建立，并结合KL性质与函数 φ 对步长之和进行有界。

实验结果

研究问题

• RQ1 能否为无投影一阶方法开发一种统一的收敛分析框架，避免区分'好'步与'坏'步？
• RQ2 在光滑非凸目标函数的无投影设置下，Kurdyka-Łojasiewicz（KL）性质下可实现何种收敛速率？
• RQ3 充分下降条件如何确保所选方向具有足够的下降方向性，从而防止锯齿状行为？
• RQ4 SSC过程能否消除因长串短步长导致的不切实际的收敛界，如PFW中的O(N!)？
• RQ5 在相同条件下，无投影方法在多大程度上能实现与投影梯度方法相当的收敛速率？

主要发现

• 在充分下降条件成立时，该方法对光滑非凸目标函数实现了全局收敛，子最优性衰减速率为 O(1/k^{1/(1−2θ)})，其中 θ ∈ (0, 1/2)。
• 当 θ = 1/2 时，子最优性以线性速率 O((1 + a/(b²M²))^{-k/2}) 衰减，与相同条件下投影梯度方法的收敛速率一致。
• 步长之和 ∑‖x_i − x_{i+1}‖ 以与子最优性相同的速率衰减，确保收敛至极限点。
• 该框架证明了在KL性质下实现局部线性收敛，这是此前无投影方法在光滑非凸目标函数上未建立的结果。
• SSC过程避免了每次迭代中求解线性子问题，降低了计算成本，并消除了如O(N!)这类最坏情况的短步长界。
• 收敛界中的隐含常数关于初始子最优性单调递增，因此可无损失地替换为统一界 η ≥ f₀ − f*。