[論文レビュー] Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Sep 25, 2019

Stochastic Gradient Optimization Techniques被引用数 13

ひとこと要約

本稿では、勾配追跡（GT）とSAGAのバリアンス低減技術を組み合わせることで、分散型経験的リスク最小化における収束を加速する、バリアンス低減型分散型確率最適化アルゴリズムGT-SAGAを提案する。既存の分散型手法と比較して、特に強い凸性および滑らかさの設定下で、より少ない局所勾配計算回数で優れた性能を達成する。

ABSTRACT

In this paper, we study decentralized empirical risk minimization problems, where the goal to minimize a finite-sum of smooth and strongly-convex functions available over a network of nodes. We propose extbf{ exttt{GT-SAGA}}, a stochastic first-order algorithm based on decentralized stochastic gradient tracking methods (GT) \cite{DSGT_Pu,DSGT_Xin} and a variance-reduction technique called SAGA \cite{SAGA}. We demonstrate various trade-offs and discuss scenarios in which extbf{ exttt{GT-SAGA}} achieves superior performance (in terms of the number of local gradient computations required) with respect to existing decentralized schemes.

研究の動機と目的

• 大規模機械学習における分散型確率最適化の収束が遅いという課題に対処すること。
• 分散型経験的リスク最小化において、所定の精度に到達するための局所勾配計算回数を削減すること。
• バリアンス低減と勾配追跡を統合することで、既存の分散型アルゴリズムを改善し、収束を加速すること。
• 異なる分散型最適化設定における通信効率と計算効率のトレードオフを分析すること。
• 最先端の分散型手法と比較して、GT-SAGAの収束速度および計算効率の優位性を示すこと。

提案手法

• 勾配追跡（GT）とSAGAのバリアンス低減技術を統合した、新たな分散型確率最勾配アルゴリズムGT-SAGAを提案する。
• ネットワーク全体にわたる勾配を集約する追跡メカニズムを用いて、グローバル勾配の局所推定値を維持する。
• SAGA手法を適用して、過去の勾配の累積平均を保存・更新することで、確率的勾配のバリアンスを低減する。
• 通信オーバーヘッドを最小限に抑えるために、コンSENSUSに基づく更新ルールを用いる。
• 中央のパラメータサーバーや調整センターを一切必要としない、完全に分散型のアルゴリズムとして設計する。
• 勾配追跡の安定性とSAGAのバリアンス低減効果を組み合わせることで、滑らかさおよび強い凸性の仮定下で収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 SAGAのバリアンス低減と勾配追跡の統合は、分散型確率最適化における収束速度の向上に寄与するか？
• RQ2 GT-SAGAは、既存の分散型手法と比較して、必要な局所勾配計算回数をどれほど削減できるか？
• RQ3 分散型最適化において、通信コストと局所計算の間にはどのようなトレードオフがあるのか？GT-SAGAはそれらをどのようにバランスさせるか？
• RQ4 どのような設定下でGT-SAGAは既存の分散型アルゴリズムを上回る収束速度を示すか？
• RQ5 異なるネットワークトポロジーおよびデータ分布下で、アルゴリズムはどのように性能を発揮するか？

主な発見

• GT-SAGAはSAGAのメカニズムによる勾配のバリアンス低減により、既存の分散型手法よりも高速な収束を達成する。
• 所定の精度に到達するための局所勾配計算回数が少なく、計算効率の優位性が明確に示された。
• 滑らかさおよび強い凸性の仮定下で、GT-SAGAは線形収束率を維持し、理論的期待と一致した。
• 勾配追跡とSAGAの統合により、ベースラインの分散型確率的勾配法と比較して、安定性と収束速度の両方が向上した。
• 局所勾配のバリアンスが高い状況下でも、GT-SAGAは他の分散型アルゴリズムを上回る性能を示した。
• さまざまなネットワークトポロジーおよびデータ分布に対して、GT-SAGAは一貫した性能向上を示し、ロバストであることが確認された。