[论文解读] Error bounds, quadratic growth, and linear convergence of proximal methods

Dmitriy Drusvyatskiy, Adrian S. Lewis|arXiv (Cornell University)|Feb 22, 2016

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文建立了凸复合优化中近似梯度法的误差界与二次增长条件之间的等价性，证明即使在不具强凸性的情况下，此类误差界仍可导致线性收敛。核心贡献在于构建了一个统一框架，将次微分的度量次正则性与线性收敛速率联系起来，该框架适用于近似梯度法与近似线性算法。

ABSTRACT

The proximal gradient algorithm for minimizing the sum of a smooth and a nonsmooth convex function often converges linearly even without strong convexity. One common reason is that a multiple of the step length at each iteration may linearly bound the "error" -- the distance to the solution set. We explain the observed linear convergence intuitively by proving the equivalence of such an error bound to a natural quadratic growth condition. Our approach generalizes to linear convergence analysis for proximal methods (of Gauss-Newton type) for minimizing compositions of nonsmooth functions with smooth mappings. We observe incidentally that short step-lengths in the algorithm indicate near-stationarity, suggesting a reliable termination criterion.

研究动机与目标

• 通过将误差界与二次增长联系起来，阐明近似方法中线性收敛的直观几何基础。
• 将误差界与二次增长之间的等价性从强凸问题推广至非光滑和复合设置。
• 利用度量次正则性与次微分性质，为近似梯度法与近似线性方法提供统一的分析框架。
• 证明近似算法中短步长可作为可靠的终止准则，因其与近似平稳性密切相关。
• 在倾斜稳定性与强度量正则性条件下，将收敛保证扩展至非凸复合问题。

提出的方法

• 使用次微分的度量次正则性作为误差界的代理，通过变分分析将其与二次增长联系起来。
• 应用函数与次微分的局部化方法，分析近似迭代在极小值点附近的性质。
• 采用 $φ$-关注的局部化框架，处理复合问题中非凸与扩展实值函数的情形。
• 通过涉及次微分包含与二次项的不等式推导步长界，将迭代点与最优性联系起来。
• 在凸与非凸设置下，建立误差界条件与类似梯度映射的次正则性之间的等价性。
• 提出一种基于步长的终止准则，证明小步长可指示近似平稳性。

实验结果

研究问题

• RQ1 在何种条件下，误差界性质可保证近似方法在无强凸性时实现线性收敛？
• RQ2 在非光滑与复合优化问题中，误差界与二次增长条件之间有何关系？
• RQ3 在非凸设置下，近似线性方法能否实现自然的线性收敛速率？在何种更强条件下可实现？
• RQ4 次微分的度量次正则性在确保近似算法线性收敛中起何作用？
• RQ5 如何利用近似方法中的步长作为可靠的优化终止准则？

主要发现

• 误差界性质与目标函数的二次增长条件等价，为线性收敛提供了几何基础。
• 在误差界条件下，近似梯度法的线性收敛性可得到保证，即使不具强凸性。
• 对于近似线性算法，若目标函数在倾斜扰动下满足一致二次增长，则其收敛速率保持自然的线性速率，该条件等价于倾斜稳定性或强度量次正则性。
• 在标准误差界下，近似线性方法的收敛速率较差，除非施加更强的条件如倾斜稳定性。
• 算法中短步长表明近似平稳性，从而可基于步长大小建立可靠的终止准则。
• 即使复合函数 $ h $ 不是有限值或凸函数，次微分的次正则性与误差界之间的等价性依然成立，前提是 $ h $ 是近似正则的。