[论文解读] Convergence Rates Analysis of The Quadratic Penalty Method and Its Applications to Decentralized Distributed Optimization

Huan Li, Cong Fang+1 more|arXiv (Cornell University)|Nov 29, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用 11

一句话总结

本文分析了一种用于线性约束凸优化的不精确、基于延续的二次惩罚方法，其中惩罚参数递增，且子问题仅通过一次近端梯度步长求解。对于一般凸问题和强凸问题，分别建立了 $O(1/\sqrt{K})$ 和 $O(1/K)$ 的收敛速率，并通过Nesterov加速将其提升至 $O(1/K)$ 和 $O(1/K^2)$。当应用于去中心化优化时，该方法将现有分布式梯度方法的收敛速率从 $O(\log K / \sqrt{K})$ 提升至 $O(1/\sqrt{K})$，并实现了通信效率更高的变体，其通信次数为 $O(1/\varepsilon)$，计算量为 $O(1/\varepsilon^{2+\delta})$。

ABSTRACT

In this paper, we study a variant of the quadratic penalty method for linearly constrained convex problems, which has already been widely used but actually lacks theoretical justification. Namely, the penalty parameter steadily increases and the penalized objective function is minimized inexactly rather than exactly, e.g., with only one step of the proximal gradient descent. For such a variant of the quadratic penalty method, we give counterexamples to show that it may not give a solution to the original constrained problem. By choosing special penalty parameters, we ensure the convergence and further establish the convergence rates of $O\left(\frac{1}{\sqrt{K}} ight)$ for the generally convex problems and $O\left(\frac{1}{K} ight)$ for strongly convex ones, where $K$ is the number of iterations. Furthermore, by adopting Nesterov's extrapolation we show that the convergence rates can be improved to $O\left(\frac{1}{K} ight)$ for the generally convex problems and $O\left(\frac{1}{K^2} ight)$ for strongly convex ones. When applied to the decentralized distributed optimization, the penalty methods studied in this paper become the widely used distributed gradient method and the fast distributed gradient method. However, due to the totally different analysis framework, we can improve their $O\left(\frac{\log K}{\sqrt{K}} ight)$ and $O\left(\frac{\log K}{K} ight)$ convergence rates to $O\left(\frac{1}{\sqrt{K}} ight)$ and $O\left(\frac{1}{K} ight)$ with fewer assumptions on the network topology for general convex problems. Using our analysis framework, we also extend the fast distributed gradient method to a communication efficient version, i.e., finding an $\varepsilon$ solution in $O\left(\frac{1}{\varepsilon} ight)$ communications and $O\left(\frac{1}{\varepsilon^{2+δ}} ight)$ computations for the non-smooth problems, where $δ$ is a small constant.

研究动机与目标

• 为实际中二次惩罚方法的不精确实现与其收敛性保证之间的理论空白提供填补。
• 建立一种使用不精确最小化和递增惩罚参数的二次惩罚方法变体的收敛速率。
• 通过提出一种新颖的分析框架，改进广泛使用的去中心化分布式优化算法的收敛速率。
• 为非光滑问题设计一种通信高效的快速分布式梯度方法变体，实现最优的通信与计算复杂度。

提出的方法

• 提出一种基于延续的二次惩罚方法，其中惩罚参数在迭代过程中递增，且子问题通过单步近端梯度法（PG）不精确求解。
• 使用近端梯度法（PG）和加速近端梯度法（APG）求解带惩罚的子问题，并控制误差。
• 应用Nesterov的外推技术以加速收敛，从而在一般凸和强凸问题中均获得更优的收敛速率。
• 通过将问题建模为带有局部变量和一致性约束的共识形式，将该方法适配至去中心化设置。
• 引入基于平滑化的内层求解器（AdaptSmooth），以在去中心化设置中高效处理非光滑正则化项。
• 通过控制惩罚参数序列和误差容限，建立收敛边界，从而控制次优性和约束违反度。

实验结果

研究问题

• RQ1 不精确的、基于延续的二次惩罚方法，若仅使用一步子问题求解，是否仍能收敛至原始约束问题的真实解？
• RQ2 在一般凸和强凸设置下，此类变体的收敛速率可保证为何种水平？
• RQ3 通过新的分析框架，能否将现有去中心化梯度方法的收敛速率从 $O(\log K / \sqrt{K})$ 提升至 $O(1/\sqrt{K})$？
• RQ4 能否为非光滑问题设计一种通信高效的快速分布式梯度方法变体，实现最优的通信与计算复杂度？

主要发现

• 通过反例表明，采用递增惩罚参数和单步PG更新的不精确惩罚方法可能无法收敛至真实解。
• 对于基于PG的方法，一般凸问题的收敛速率为 $O(1/\sqrt{K})$，强凸问题的收敛速率为 $O(1/K)$。
• 通过Nesterov加速，基于APG的方法在一般凸问题和强凸问题中分别实现 $O(1/K)$ 和 $O(1/K^2)$ 的收敛速率。
• 在去中心化优化中，该方法在较弱的网络拓扑假设下，将分布式梯度方法的收敛速率从 $O(\log K / \sqrt{K})$ 提升至 $O(1/\sqrt{K})$。
• 开发了一种快速分布式梯度方法的通信高效变体，对非光滑问题实现了 $O(1/\varepsilon)$ 次通信和 $O(1/\varepsilon^{2+\delta})$ 次计算。
• 该分析框架通过直接控制可行性和最优性误差，实现了比以往去中心化方法更紧的收敛边界，从而获得更优的收敛速率。