[論文レビュー] Gradient tracking and variance reduction for decentralized optimization and machine learning

Ran Xin, Soummya Kar+1 more|arXiv (Cornell University)|Feb 13, 2020

Stochastic Gradient Optimization Techniques参考文献 50被引用数 7

ひとこと要約

本稿では、分散型確率的最適化のための統一フレームワークを提案する。このフレームワークは勾配追跡とばらつき低減を統合し、標準的な分散型確率的勾配降下法（DSGD）に比べ、収束速度とロバスト性を著しく向上させる。一般のネットワーク上での滑らかで強く凸な目的関数に対して線形収束を達成し、理論的保証と非凸問題における実験的検証を併せ持つ。

ABSTRACT

Decentralized methods to solve finite-sum minimization problems are important in many signal processing and machine learning tasks where the data is distributed over a network of nodes and raw data sharing is not permitted due to privacy and/or resource constraints. In this article, we review decentralized stochastic first-order methods and provide a unified algorithmic framework that combines variance-reduction with gradient tracking to achieve both robust performance and fast convergence. We provide explicit theoretical guarantees of the corresponding methods when the objective functions are smooth and strongly-convex, and show their applicability to non-convex problems via numerical experiments. Throughout the article, we provide intuitive illustrations of the main technical ideas by casting appropriate tradeoffs and comparisons among the methods of interest and by highlighting applications to decentralized training of machine learning models.

研究の動機と目的

• 中央集権的な調整なしにデータがノードのネットワークに分散配置されるリソース制約があり、プライバシーに配慮が必要な環境における分散型機械学習の課題に対処する。
• 標準的な分散型確率的勾配降下法（DSGD）の収束が遅く、ばらつきが大きいという問題を、ばらつき低減技術の統合によって克服する。
• 勾配追跡と複数のばらつき低減手法を統合した、統一されたアルゴリズムフレームワークを開発し、性能とロバスト性を向上させる。
• 滑らかで強く凸な目的関数に対して理論的収束保証を提供するとともに、深層学習などの非凸問題における実験的検証を実施する。
• 提案手法がDSGDに比べて導入する通信、計算、記憶のオーバーヘッドを分析し、実用的妥当性を確保する。

提案手法

• 各ノードが局所的情報と隣接ノードとの情報交換を用いてグローバル勾配を推定する勾配追跡メカニズムを導入し、勾配方向の合意形成を保証する。
• SAGA や SVRG などのばらつき低減技術を、局所的勾配記憶を維持し、推定値を効率的に更新することで、分散型設定に統合する。
• 各ノードがグローバル勾配の局所的推定値を維持し、隣接ノードの推定値の重み付き平均を用いて更新する、コンSENSUSに基づく更新ルールを用いる。
• 一般の有向グラフ上で収束を保証するため、二重確率的（DS）または列確率的（CS）重み行列を用いてアルゴリズムを定式化する。
• AB法を用いてGT-DGD、SAGA、SVRGを有向グラフに一般化する統一フレームワークを提供し、より広範な適用可能性を実現する。
• 量子化、非同期更新、通信／計算のトレードオフを組み込むことで、通信効率の良い変種を設計し、オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 ばらつき低減を分散型最適化における勾配追跡と効果的に統合することで、収束をどのように加速できるか？
• RQ2 一般のネットワークトポロジー下で、滑らかで強く凸な目的関数に対する提案フレームワークの理論的収束速度は何か？
• RQ3 標準的なDSGDに比べ、提案手法の通信、計算、記憶コストはどのようにスケーリングされるか？
• RQ4 このフレームワークは、深層ニューラルネットワーク学習のような非凸問題へ拡張可能か？また、実験的にどのように性能を示すか？
• RQ5 ABアルゴリズムは、有向グラフ上での勾配追跡とばらつき低減を統合する分散型手法をどのように統一するか？

主な発見

• 滑らかで強く凸な関数に対して、提案フレームワークは O((1 - μ/L)^k) の線形収束レートを達成し、集中型設定における最良のレートと一致する。
• SAGA や SVRG を応用したばらつき低減勾配追跡手法（GT-SAGA や GT-SVRG）は、特に条件数が悪い問題において、標準的な DSGD よりも著しく速く収束する。
• AB法を用いることで、一般の有向グラフに対してもフレームワークが適用可能であり、通信重みが二重確率的でない場合でも、ロバストな性能を発揮する。
• 数値実験により、非凸問題（深層学習モデルを含む）においても強力な性能を示しており、凸仮定を超えた実用的有用性を示唆する。
• 勾配記憶と追跡変数による通信および記憶オーバーヘッドは中程度にとどまるが、収束速度の顕著な向上を考慮すると、これを正当化できる。
• 理論的分析により、勾配追跡とばらつき低減の組み合わせが、グローバル収束を維持するとともに、勾配のばらつきを低減し、収束を加速することが確認された。