[論文レビュー] Decentralized Accelerated Gradient Methods With Increasing Penalty Parameters

Huan Li, Cong Fang+2 more|arXiv (Cornell University)|Oct 2, 2018

Stochastic Gradient Optimization Techniques参考文献 55被引用数 11

ひとこと要約

本稿では、増加するペナルティパラメータを用いた加速ペナルティ法に基づく2つの分散型高速勾配法を提案する。最初のアルゴリズムは滑らかな問題において最適な勾配計算複雑度とほぼ最適な通信複雑度を達成するが、2番目のアルゴリズムは滑らかでない問題において最適なサブ勾配および通信複雑度を達成し、既知の下界と一致する。

ABSTRACT

In this paper, we study the communication and (sub)gradient computation costs in distributed optimization and give a sharp complexity analysis for the proposed distributed accelerated gradient methods. We present two algorithms based on the framework of the accelerated penalty method with increasing penalty parameters. Our first algorithm is for smooth distributed optimization and it obtains the near optimal $O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}ε ight)$ communication complexity and the optimal $O\left(\sqrt{\frac{L}ε} ight)$ gradient computation complexity for $L$-smooth convex problems, where $σ_2(W)$ denotes the second largest singular value of the weight matrix $W$ associated to the network and $ε$ is the target accuracy. When the problem is $μ$-strongly convex and $L$-smooth, our algorithm has the near optimal $O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log^2\frac{1}ε ight)$ complexity for communications and the optimal $O\left(\sqrt{\frac{L}μ}\log\frac{1}ε ight)$ complexity for gradient computations. Our communication complexities are only worse by a factor of $\left(\log\frac{1}ε ight)$ than the lower bounds for the smooth distributed optimization. %As far as we know, our method is the first to achieve both communication and gradient computation lower bounds up to an extra logarithm factor for smooth distributed optimization. Our second algorithm is designed for non-smooth distributed optimization and it achieves both the optimal $O\left(\frac{1}{ε\sqrt{1-σ_2(W)}} ight)$ communication complexity and $O\left(\frac{1}{ε^2} ight)$ subgradient computation complexity, which match the communication and subgradient computation complexity lower bounds for non-smooth distributed optimization.

研究の動機と目的

• 分散設定下での通信コストおよび勾配計算コストを扱う。
• 滑らかでない凸問題の両方において、最適またはほぼ最適な複雑度を達成するアルゴリズムを開発する。
• 加速ペナルティフレームワークにおける増加するペナルティパラメータの使用により、既存手法の制限を克服する。
• 滑らかな問題において、通信複雑度を理論的下界の対数因子の範囲内に抑える。
• 滑らかでない分散最適化における既知のサブ勾配および通信複雑度の下界に一致する。

提案手法

• 増加するペナルティパラメータを用いた加速ペナルティ法フレームワークを提案し、収束性と通信効率のバランスを図る。
• 滑らかな問題用のAPM-Cと滑らかでない問題用のAPMの2つのアルゴリズムを設計し、局所計算と隣接ノード間通信を活用する。
• 適応的ステップサイズと内部反復スケジューリングを導入：APM-Cでは $ T_k = \lceil \frac{\log(k+1)}{5\sqrt{1-\sigma_2(W)}} \rceil $ 、APMに対しても同様の式を適用。
• 反復ごとに増加するペナルティパラメータ $ \beta_k $ を使用し、初期値 $ \beta_0 $ はネットワークの接続性 $ \sigma_2(W) $ に基づいて調整する。
• 双対空間におけるネステロフ型加速を適用し、収束速度を向上させる。
• 重み行列 $ W $ を用いてネットワーク構造を活用し、$ \sigma_2(W) $ がネットワークの接続性を定量化し、収束速度に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 滑らかな分散最適化問題において、最適な勾配計算複雑度を達成する分散アルゴリズムを設計できるか？
• RQ2 通信複雑度を、下界の $ \log(1/\epsilon) $ 要因の範囲内にまでほぼ最適化できるか？
• RQ3 滑らかでない分散最適化において、最適なサブ勾配および通信複雑度を両方達成できるか？
• RQ4 ネットワーク接続性（$ \sigma_2(W) $ で定量化）は、分散型高速化手法の性能にどのように影響するか？
• RQ5 増加するペナルティパラメータは、通信効率を損なわずに分散環境における収束を改善できるか？

主な発見

• 滑らかで強く凸でない問題では、提案されたAPM-Cは $ O\left(\sqrt{\frac{L}{\epsilon}}\right) $ の勾配計算複雑度と $ O\left(\sqrt{\frac{L}{\epsilon(1-\sigma_2(W))}}\log\frac{1}{\epsilon}\right) $ の通信複雑度を達成し、ほぼ最適である。
• 滑らかな強く凸問題では、APM-Cは $ O\left(\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right) $ の勾配複雑度と $ O\left(\sqrt{\frac{L}{\mu(1-\sigma_2(W))}}\log^2\frac{1}{\epsilon}\right) $ の通信複雑度を達成し、既知の下界に $ \log^2(1/\epsilon) $ 要因の差で一致する。
• 滑らかでない問題では、APMアルゴリズムは $ O\left(\frac{1}{\epsilon^2}\right) $ のサブ勾配計算と $ O\left(\frac{1}{\epsilon\sqrt{1-\sigma_2(W)}}\right) $ の通信複雑度を達成し、理論的下界と一致する。
• 実験結果では、APM-CはD-NG、D-NC、DNGD、EXTRA、ADAよりも計算コストの点で優れていることが示され、特に強く凸でない設定で顕著である。
• APM-adp（適応的パラメータ）は、APM-fix（固定パラメータ）よりも通信回数とサブ勾配計算回数を少なくすることができ、動的パrameterチューニングの利点を示している。
• アルゴリズムはネットワーク接続性に対してロバストである：$ \frac{1}{\sqrt{1-\sigma_2(W)}} $ が増加しても性能は僅かに低下するにとどまり、特に強く凸でないケースで顕著である。