[论文解读] General Proximal Incremental Aggregated Gradient Algorithms: Better and Novel Results under General Scheme

Tao Sun, Yuejiao Sun+2 more|arXiv (Cornell University)|Oct 11, 2019

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

本文提出了一种通用的近端增量聚合梯度（PIAG）算法，通过允许非凸目标函数、更大的步长以及对噪声的鲁棒性，扩展了现有方法。该文建立了新颖的收敛结果，包括在一般条件下对非凸函数的次线性收敛速率，以及在较大步长下实现线性收敛，克服了以往工作对强凸性和小步长的依赖。

ABSTRACT

The incremental aggregated gradient algorithm is popular in network optimization and machine learning research. However, the current convergence results require the objective function to be strongly convex. And the existing convergence rates are also limited to linear convergence. Due to the mathematical techniques, the stepsize in the algorithm is restricted by the strongly convex constant, which may make the stepsize be very small (the strongly convex constant may be small). In this paper, we propose a general proximal incremental aggregated gradient algorithm, which contains various existing algorithms including the basic incremental aggregated gradient method. Better and new convergence results are proved even with the general scheme. The novel results presented in this paper, which have not appeared in previous literature, include: a general scheme, nonconvex analysis, the sublinear convergence rates of the function values, much larger stepsizes that guarantee the convergence, the convergence when noise exists, the line search strategy of the proximal incremental aggregated gradient algorithm and its convergence.

研究动机与目标

• 解决现有增量梯度方法对强凸性和小步长的依赖问题。
• 构建一个统一的近端增量聚合梯度算法框架，适用于一般、非凸和噪声环境。
• 在比以往更广泛的条件下，建立收敛性及收敛速率结果。
• 提出一种线搜索策略，确保收敛性，且无需事先知晓Lipschitz常数。

提出的方法

• 提出一种通用的PIAG算法，通过 $ v^k = \sum_{i=1}^m \nabla f_i(x^{k-\tau_{i,k}}) + e^k $ 使用延迟和噪声的梯度近似。
• 引入一种新颖的李雅普诺夫函数 $ F_k(\varepsilon,t) $，用于在一般凸性和非凸性条件下分析收敛性。
• 采用一种线搜索策略，基于下降条件自适应选择步长，避免依赖于已知的Lipschitz常数。
• 采用一种通用框架，包含延迟 $ \tau_{i,k} $、噪声 $ e^k $ 和通过 $ x^{k+1} = \text{prox}_{\gamma_k g}[x^k - \gamma_k v^k] $ 实现的近端更新。
• 利用技术引理界定向量函数的下降量，并通过递归不等式建立收敛性。
• 通过分析李雅普诺夫函数的衰减以及延迟下梯度误差之和的有界性，推导收敛速率。

实验结果

研究问题

• RQ1 在非凸目标函数下，是否可以在不依赖强凸性的情况下，为通用PIAG算法建立收敛性？
• RQ2 在通用PIAG框架中，仍能保证收敛的最大允许步长是多少？
• RQ3 延迟和噪声如何影响增量聚合梯度方法的收敛行为？
• RQ4 能否为PIAG设计一种线搜索策略，确保收敛性，且无需事先知晓Lipschitz常数？
• RQ5 在所提出的框架下，一般凸和非凸情况下可实现何种收敛速率？

主要发现

• 本文证明了在一般凸情况下，即使不满足强凸性，目标函数值仍具有次线性收敛速率。
• 在比以往更大的步长下建立了线性收敛性，打破了对强凸性常数的依赖。
• 在非凸性条件下证明了收敛性，将PIAG的适用范围从强凸问题扩展至更广泛场景。
• 在存在噪声的情况下，算法仍保持收敛，且在有界噪声假设下收敛速率得以保持。
• 提出了一种线搜索策略并证明其可确保收敛，从而实现无需事先知晓Lipschitz常数的自适应步长选择。
• 建立了新颖的收敛结果，包括梯度误差衰减的界以及迭代序列收敛至驻点的性质。