[論文レビュー] An introduction to decentralized stochastic optimization with gradient tracking

Ran Xin, Soummya Kar+1 more|arXiv (Cornell University)|Jul 23, 2019

Distributed Control Multi-Agent Systems参考文献 51被引用数 11

ひとこと要約

本稿では、滑らかで強く凸な有限和問題に対して、勾配追跡を用いた分散型確率的最適化手法を導入し、中央集権的な調整者が不要なピアツーピアの学習を通信効率よく実現する。勾配追跡により、標準的な分散型SGDと比較して、任意のネットワークトポロジーおよび通信制約下でも、高精度な解への収束速度が向上することを示している。

ABSTRACT

Decentralized solutions to finite-sum minimization are of significant importance in many signal processing, control, and machine learning applications. In such settings, the data is distributed over a network of arbitrarily-connected nodes and raw data sharing is prohibitive often due to communication or privacy constraints. In this article, we review decentralized stochastic first-order optimization methods and illustrate some recent improvements based on gradient tracking and variance reduction, focusing particularly on smooth and strongly-convex objective functions. We provide intuitive illustrations of the main technical ideas as well as applications of the algorithms in the context of decentralized training of machine learning models.

研究の動機と目的

• データがノード間で分散配置され、通信制限およびプライバシー制約が課される分散型機械学習の課題に対処すること。
• 中央集権的なデータ集約やマスターワーカーの協調を回避するスケーラブルで、コンSENSUSに基づく最適化手法を開発すること。
• 勾配追跡と分散低減技術を用いて、分散環境における収束速度と精度を向上させること。
• 元々中央集権的環境を想定して設計された高度な確率的1次最適化手法を、分散型ピアツーピアネットワークに応用可能にする。
• 勾配追跡と非双方向ストキャスティック重みを活用して、任意の有向グラフへとこれらの手法を拡張すること。

提案手法

• ノード間で合意形成を用いて、グローバル勾配の局所的推定値を維持する分散型勾配追跡フレームワーク（GT-DGD）を提案する。
• SAGA や SVRG などの分散低減技術を、反復処理における勾配の追跡を活用して分散環境に統合し、確率的更新におけるノイズ低減を実現する。
• 無向グラフでは二重ストキャスティック重み行列を用い、有向グラフではABアルゴリズムフレームワークを用いて、行ストキャスティックおよび列ストキャスティック重みに拡張する。
• 各ノードが隣接ノードとの間でのみモデルパラメータと勾配推定値を交換する通信効率の高いプロトコルを設計し、データ送信量を最小限に抑える。
• 非双方向ストキャスティック重みを扱うために、ピッシュサム技術を適用し、一部のバージョンでは固有ベクトル推定を回避して合意形成を実現する。
• 滑らかで強く凸な目的関数下でのGTベースの手法の収束レートを導出する。条件数依存の線形収束が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 中心集権的な調整者が存在せず、通信制限がある分散型ピアツーピアネットワークに、中央集権的確率的1次最適化手法をどのように適応できるか。
• RQ2 任意のネットワークトポロジー下で、分散型確率的最適化の収束を可能にする勾配追跡の役割は何か。
• RQ3 分散環境下で、分散低減技術が収束速度と解の精度をどのように向上させるか。
• RQ4 非双方向ストキャスティック重み行列を持つ有向グラフに対しても、勾配追跡を拡張可能か。
• RQ5 分散最適化における通信と計算のトレードオフは何か。また、それらを最小限に抑える方法は何か。

主な発見

• 勾配追跡により、滑らかで強く凸な関数に対して分散型確率的最適化が線形収束を達成でき、中央集権的手法と同等の収束レートを達成する。
• 提案されたGT-SAGAおよびGT-SVRGの変種は、勾配分散の低減により収束レートが向上し、高精度な解への収束が高速化される。
• ABフレームワークにより、行ストキャスティックおよび列ストキャスティック重みを用いることで、GTベースの手法を任意の有向グラフに適用可能となり、双方向ストキャスティック行列の制限を克服できる。
• SABおよびADD-OPTはGT-DGDを有向グラフに拡張し、通信オーバーヘッドを低減するとともに、より高い耐障害性を実現する。
• GTベースの手法の収束レートは、条件数 $κ = L/μ$ に依存し、強い凸性および滑らかさの下で線形収束が達成される。
• パラメータ交換を最小限に抑え、局所的勾配追跡を活用することで、通信効率が顕著に向上し、リソース制限のあるIoTおよびエッジデバイスに適したアプローチとなる。