[論文レビュー] Improving the Sample and Communication Complexity for Decentralized Non-Convex Optimization: A Joint Gradient Estimation and Tracking Approach

Haoran Sun, Songtao Lu+1 more|arXiv (Cornell University)|Oct 13, 2019

Stochastic Gradient Optimization Techniques参考文献 64被引用数 12

ひとこと要約

本稿では、非凸問題におけるサンプル数および通信複雑度を低減するために、局所的勾配推定とグローバル勾配トラッキングを併用する分散型確率的最適化アルゴリズムD-GETを提案する。有限和問題では、最適な$Ø(mn^{1/2}ϵ^{-1})$のサンプル複雑度と$Ø(ϵ^{-1})$の通信複雑度を達成し、オンライン問題では$Ø(mϵ^{-3/2})$のサンプル複雑度を達成する。これは、既存の境界を著しく改善する。

ABSTRACT

Many modern large-scale machine learning problems benefit from decentralized and stochastic optimization. Recent works have shown that utilizing both decentralized computing and local stochastic gradient estimates can outperform state-of-the-art centralized algorithms, in applications involving highly non-convex problems, such as training deep neural networks. In this work, we propose a decentralized stochastic algorithm to deal with certain smooth non-convex problems where there are $m$ nodes in the system, and each node has a large number of samples (denoted as $n$). Differently from the majority of the existing decentralized learning algorithms for either stochastic or finite-sum problems, our focus is given to both reducing the total communication rounds among the nodes, while accessing the minimum number of local data samples. In particular, we propose an algorithm named D-GET (decentralized gradient estimation and tracking), which jointly performs decentralized gradient estimation (which estimates the local gradient using a subset of local samples) and gradient tracking (which tracks the global full gradient using local estimates). We show that, to achieve certain $ε$ stationary solution of the deterministic finite sum problem, the proposed algorithm achieves an $\mathcal{O}(mn^{1/2}ε^{-1})$ sample complexity and an $\mathcal{O}(ε^{-1})$ communication complexity. These bounds significantly improve upon the best existing bounds of $\mathcal{O}(mnε^{-1})$ and $\mathcal{O}(ε^{-1})$, respectively. Similarly, for online problems, the proposed method achieves an $\mathcal{O}(m ε^{-3/2})$ sample complexity and an $\mathcal{O}(ε^{-1})$ communication complexity, while the best existing bounds are $\mathcal{O}(mε^{-2})$ and $\mathcal{O}(ε^{-2})$, respectively.

研究の動機と目的

• 大規模な機械学習における分散型非凸最適化における高いサンプル数および通信複雑度を解決すること。
• 既存の分散型アルゴリズムの限界を克服すること。これらは、しばしば全バッチ勾配評価を必要としたり、高い通信ラウンド数に苦しむ。
• 局所的データアクセスとノード間通信を同時に最小化しながら、$\epsilon$-停留解への収束を維持する手法を開発すること。
• 分散型非凸最適化における有限和およびオンライン設定の両方で、より優れた理論的複雑度境界を達成すること。

提案手法

• 共分散に基づくネットワーク構造を用いて、局所的確率的勾配推定とグローバル勾配トラッキングを統合する分散型アルゴリズムD-GETを提案する。
• 二段階のサンプリング戦略を採用：$q$-回目の反復ごとに全勾配推定に大きなバッチを、分散低減された勾配トラッキングに小さなバッチを用いる。
• 混合行列$\mathbf{W}$を介した局所的推定とネットワーク平均化を用いて、グローバル勾配の推定値を維持する勾配トラッキング機構を導入する。
• 分散低減技術を活用して、確率的勾配における推定誤差を制御し、サンプリングノイズがあっても収束を保証する。
• 局所更新とグローバル勾配トラッキングを交互に実行するハイブリッド更新ルールを設計し、定期的な全バッチ勾配再推定を実施する。
• 各ノードが局所変数を維持し、隣接ノードとのみ通信するネットワーク上の共通最適化問題として問題を定式化する。

実験結果

リサーチクエスチョン

• RQ1 局所的勾配推定とトラッキングを併用することで、分散型非凸最適化における$\epsilon$-停留解に到達するための総局所データサンプル数を削減できるか？
• RQ2 分散型確率的最適化において、所望の精度$\epsilon$に対して通信複雑度はどのようにスケーリングするか？
• RQ3 提案手法は、有限和およびオンライン設定の両方で、既存の分散型アルゴリズムを上回るサンプル複雑度を達成できるか？
• RQ4 分散型非凸最適化において、局所計算（サンプル複雑度）とノード間通信（ラウンド複雑度）の理論的トレードオフは何か？
• RQ5 分散低減された勾配トラッキングの使用は、標準的な分散型確率的勾配法と比較して、収束速度の向上をもたらすか？

主な発見

• 有限和問題において、D-GETは$Ø(mn^{1/2}\epsilon^{-1})$のサンプル複雑度を達成し、既存で最良の境界$Ø(mn\epsilon^{-1})$を改善する。
• D-GETの通信複雑度は$Ø(\epsilon^{-1})$であり、既存で最良の境界と一致するが、はるかに低いサンプル使用量で達成される。
• オンライン問題において、D-GETは$Ø(m\epsilon^{-3/2})$のサンプル複雑度を達成し、以前の最良境界$Ø(m\epsilon^{-2})$を改善する。
• オンライン問題においても通信複雑度は$Ø(\epsilon^{-1})$のまま維持され、$Ø(\epsilon^{-2})$ラウンドを要する既存手法を上回る。
• 理論的解析により、標準的な滑らかさおよび分散有界性仮定のもとで、アルゴリズムが高確率で$\epsilon$-停留解に収束することを確認した。
• 局所計算と通信の最適なトレードオフを達成しており、プライバシーとスケーラビリティ制約を伴う大規模分散学習に適している。