[论文解读] Linear Convergence of the Proximal Incremental Aggregated Gradient Method under Quadratic Growth Condition

Huigang Zhang|arXiv (Cornell University)|Feb 27, 2017

Sparse and Compressive Sensing Techniques参考文献 13被引用 3

一句话总结

该论文在比强凸性假设更弱的二次增长条件下，建立了近端增量聚合梯度（PIAG）方法的全局线性收敛性。通过构造一种新颖的李雅普诺夫函数，联合追踪目标函数值与迭代误差，作者证明了在目标函数值和迭代点到解集距离上均具有线性收敛速率，且该速率显式依赖于条件数和延迟参数。

ABSTRACT

Under the strongly convex assumption, several recent works studied the global linear convergence rate of the proximal incremental aggregated gradient (PIAG) method for minimizing the sum of a large number of smooth component functions and a non-smooth convex function. In this paper, under extsl{the quadratic growth condition}--a strictly weaker condition than the strongly convex assumption, we derive a new global linear convergence rate result, which implies that the PIAG method attains global linear convergence rates in both the function value and iterate point errors. The main idea behind is to construct a certain Lyapunov function.

研究动机与目标

• 在弱于强凸性的二次增长条件下，建立PIAG方法的全局线性收敛性。
• 将以往依赖于强凸性的收敛结果，推广至强凸性不成立的更广泛问题类别。
• 通过单一李雅普诺夫函数，统一分析函数值与迭代误差的收敛性。
• 推导出显式依赖于条件数和延迟参数的线性收敛速率，与先前结果保持一致。

提出的方法

• 构造一个结合函数值误差与到解集距离平方的李雅普诺夫函数。
• 通过函数值与迭代误差项的加权和，形成复合势函数。
• 采用参数化分解方式处理近端步长误差，以分离并有界包含梯度延迟的项。
• 推导出包含延迟梯度扰动项的李雅普诺夫函数递推不等式。
• 应用离散李雅普诺夫引理，在步长条件下建立势函数的线性衰减。
• 利用伯努利不等式与代数恒等变形，最终推导出以条件数和延迟参数表示的线性收敛速率。

实验结果

研究问题

• RQ1 PIAG方法是否能在严格弱于强凸性的二次增长条件下实现全局线性收敛？
• RQ2 能否通过单一李雅普诺夫函数同时捕捉函数值与迭代误差的收敛行为？
• RQ3 线性收敛速率对条件数和延迟参数的显式依赖关系是什么？
• RQ4 与强凸性假设下的先前结果相比，收敛速率有何差异？
• RQ5 与先前工作相比，是否可通过避免过于复杂的假设来简化分析？

主要发现

• 在二次增长条件下，PIAG方法在函数值误差与迭代点到解集距离上均实现全局线性收敛。
• 收敛速率呈线性，且对条件数线性依赖，对延迟参数二次依赖。
• 速率被显式界定为 $ 1 - \frac{\alpha\beta}{1 + \alpha\beta} $，其中 $ \alpha $ 为步长，$ \beta $ 为二次增长参数。
• 当延迟 $ \tau < 47 $ 时，速率恢复了强凸性假设下先前工作的最优结果。
• 分析表明，函数值与迭代误差之间的关系无法使收敛速率超越所推导的上界。
• 最终收敛速率表示为 $ \Psi(x_k) \leq \left(1 - \frac{1}{\eta(\tau+2)(\tau+1)}\right)^k \Psi(x_0) $，其中 $ \eta = \frac{L}{\beta} $。