[論文レビュー] Convergence Rates Analysis of The Quadratic Penalty Method and Its Applications to Decentralized Distributed Optimization

Huan Li, Cong Fang+1 more|arXiv (Cornell University)|Nov 29, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 11

ひとこと要約

本稿は、線形制約付き凸最適化問題に対して、罰則パrameterを増加させ、1ステップのプロキシマル勾配ステップで部分問題を近似的に解く、継続的で不正確な二次罰則法を分析する。一般凸問題と強凸問題に対して、それぞれ $O(1/\sqrt{K})$ および $O(1/K)$ の収束速度を確立し、ネステロフの加速を用いることで、$O(1/K)$ および $O(1/K^2)$ に改善する。分散最適化に応用した場合、従来の分散勾配法の収束速度を $O(\log K / \sqrt{K})$ から $O(1/\sqrt{K})$ に改善し、$O(1/\varepsilon)$ 回の通信と $O(1/\varepsilon^{2+\delta})$ の計算量を達成する通信効率の良いバージョンを可能にする。

ABSTRACT

In this paper, we study a variant of the quadratic penalty method for linearly constrained convex problems, which has already been widely used but actually lacks theoretical justification. Namely, the penalty parameter steadily increases and the penalized objective function is minimized inexactly rather than exactly, e.g., with only one step of the proximal gradient descent. For such a variant of the quadratic penalty method, we give counterexamples to show that it may not give a solution to the original constrained problem. By choosing special penalty parameters, we ensure the convergence and further establish the convergence rates of $O\left(\frac{1}{\sqrt{K}} ight)$ for the generally convex problems and $O\left(\frac{1}{K} ight)$ for strongly convex ones, where $K$ is the number of iterations. Furthermore, by adopting Nesterov's extrapolation we show that the convergence rates can be improved to $O\left(\frac{1}{K} ight)$ for the generally convex problems and $O\left(\frac{1}{K^2} ight)$ for strongly convex ones. When applied to the decentralized distributed optimization, the penalty methods studied in this paper become the widely used distributed gradient method and the fast distributed gradient method. However, due to the totally different analysis framework, we can improve their $O\left(\frac{\log K}{\sqrt{K}} ight)$ and $O\left(\frac{\log K}{K} ight)$ convergence rates to $O\left(\frac{1}{\sqrt{K}} ight)$ and $O\left(\frac{1}{K} ight)$ with fewer assumptions on the network topology for general convex problems. Using our analysis framework, we also extend the fast distributed gradient method to a communication efficient version, i.e., finding an $\varepsilon$ solution in $O\left(\frac{1}{\varepsilon} ight)$ communications and $O\left(\frac{1}{\varepsilon^{2+δ}} ight)$ computations for the non-smooth problems, where $δ$ is a small constant.

研究の動機と目的

• 実用的な不正確な二次罰則法の実装とその収束保証との間の理論的ギャップを解消すること。
• 不正確な最小化と増加する罰則パrameterを用いる二次罰則法の変種の収束速度を確立すること。
• 新しい解析フレームワークを用いて、広く使われている分散型最適化アルゴリズムの収束速度を改善すること。
• 非滑らか問題に対して、最適な通信および計算複雑性を達成する通信効率の良い高速分散勾配法のバージョンを開発すること。

提案手法

• 反復回数に応じて罰則パrameterを増加させ、部分問題を1ステップのプロキシマル勾配ステップで近似的に解く継続的二次罰則法を提案する。
• 誤差を制御できるように、部分問題をプロキシマル勾配（PG）および加速プロキシマル勾配（APG）法で解く。
• ネステロフの外挿法を用いて収束を加速し、一般凸問題および強凸問題の両方で改善された収束速度を達成する。
• 局所変数と一致制約を用いた共通化定式化として問題をモデル化することで、分散環境に適応する。
• 分散環境における非滑らか正則化子を効率的に処理するため、スムージングに基づく内部ソルバー（AdaptSmooth）を導入する。
• 罰則パrameterの系列と誤差許容範囲を制御することで、部分最適性と実行可能性違反の両方を制御し、収束境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 1ステップの部分問題解法を用いる不正確で継続的二次罰則法は、元の制約付き問題の真の解に収束することができるか？
• RQ2 一般凸および強凸設定下で、このような変種に対して保証できる収束速度は何か？
• RQ3 新しい解析フレームワークを用いて、既存の分散勾配法の収束速度を $O(\log K / \sqrt{K})$ から $O(1/\sqrt{K})$ に改善できるか？
• RQ4 非滑らか問題に対して、最適な通信および計算複雑性を達成する通信効率の良い高速分散勾配法のバージョンを設計できるか？

主な発見

• 増加する罰則パrameterと1ステップのPG更新を用いる不正確な罰則法は、反例により真の解に収束しない可能性があることが示された。
• PGに基づく手法では、一般凸問題に対して $O(1/\sqrt{K})$、強凸問題に対して $O(1/K)$ の収束速度を達成する。
• ネステロフの加速を用いるAPGに基づく手法では、一般凸問題に対して $O(1/K)$、強凸問題に対して $O(1/K^2)$ の収束速度を達成する。
• 分散最適化に応用した場合、ネットワークトポロジーに関する弱い仮定のもとで、分散勾配法の収束速度を $O(\log K / \sqrt{K})$ から $O(1/\sqrt{K})$ に改善する。
• 非滑らか問題に対して、$O(1/\varepsilon)$ 回の通信と $O(1/\varepsilon^{2+\delta})$ の計算量を達成する通信効率の良い高速分散勾配法のバージョンを開発した。
• 解析フレームワークにより、実行可能性と最適性の誤差を直接制御でき、従来の分散手法よりも改善された収束速度を達成できる。