[論文レビュー] An Accelerated Decentralized Stochastic Proximal Algorithm for Finite Sums

Hadrien Hendrikx, Francis Bach+1 more|arXiv (Cornell University)|May 27, 2019

Stochastic Gradient Optimization Techniques参考文献 37被引用数 16

ひとこと要約

本稿では、有限和最適化のための高速化された分散型確率的近接勾配法であるADFSを提案する。この手法は、ノード間のランダムなペアワイズ通信と局所的な確率的更新を組み合わせるものであり、単一マシン上で最適な集中型アルゴリズムと同等の収束速度を達成するが、$ n $ 台のマシンにスケーリング可能であり、単一マシン手法が $ m $ 個のサンプルを処理する時間に $ nm $ 個のサンプルを学習する。これは通信遅延とネットワークトポロジーに依存する臨界ネットワークサイズに達するまでは有効である。

ABSTRACT

Modern large-scale finite-sum optimization relies on two key aspects: distribution and stochastic updates. For smooth and strongly convex problems, existing decentralized algorithms are slower than modern accelerated variance-reduced stochastic algorithms when run on a single machine, and are therefore not efficient. Centralized algorithms are fast, but their scaling is limited by global aggregation steps that result in communication bottlenecks. In this work, we propose an efficient extbf{A}ccelerated extbf{D}ecentralized stochastic algorithm for extbf{F}inite extbf{S}ums named ADFS, which uses local stochastic proximal updates and randomized pairwise communications between nodes. On $n$ machines, ADFS learns from $nm$ samples in the same time it takes optimal algorithms to learn from $m$ samples on one machine. This scaling holds until a critical network size is reached, which depends on communication delays, on the number of samples $m$, and on the network topology. We provide a theoretical analysis based on a novel augmented graph approach combined with a precise evaluation of synchronization times and an extension of the accelerated proximal coordinate gradient algorithm to arbitrary sampling. We illustrate the improvement of ADFS over state-of-the-art decentralized approaches with experiments.

研究の動機と目的

• 既存の分散型アルゴリズムが単一マシン上で集中型加速手法に比べて遅いため、その非効率性を是正すること。
• 分散環境におけるスケーラブルで高速な収束を実現するため、分散型と確率的最適化のギャップを埋めること。
• 最適な集中型アルゴリズムと同等の収束速度を達成しながら、グローバルな集約による通信ボトルネックを回避する分散型アルゴリズムを設計すること。
• 通信遅延やトポロジーの変動を含む現実的なネットワーク環境下でのアルゴリズム性能を分析すること。
• 高遅延環境において、集中型手法を上回る性能を示す分散型手法の可能性を示すこと。

提案手法

• 各ノードで局所的な確率的近接更新を実行し、有限和構造を活用して1イテレーションあたりのコストを低減する。
• 隣接ノード間のランダムなペアワイズ通信を用いて情報の同期を図り、グローバル集約によるボトルネックを回避する。
• 任意のサンプリングを許容する加速近接座標勾配法を統合し、分散環境への適用範囲を拡大する。
• 理論的分析において通信および同期遅延を正確にモデル化するための新規な拡張グラフアプローチを導入する。
• ネットワーク遅延を考慮して、同期時間の明示的評価を実施し、収束バインディングをより厳密にする。
• $ \rho_s $（確率的条件数）と $ \rho_b $（バッチ条件数）を含む条件数フレームワークに基づく分析を実施し、$ \gamma $ はネットワークグラフのラプラシアン条件数を表す。

実験結果

リサーチクエスチョン

• RQ1 グローバル通信ボトルネックを回避しつつ、最適な集中型確率的アルゴリズムと同等の収束速度を達成できる分散型アルゴリズムは存在するか？
• RQ2 分散型確率的アルゴリズムの性能は、ネットワークサイズや通信遅延にどのように依存するか？
• RQ3 ネットワークトポロジーや通信遅延は、分散型有限和最適化の収束にどのような影響を及けるか？
• RQ4 ペアワイズ通信を伴う局所的確率的更新は、高遅延環境において集中型手法を上回ることができるか？
• RQ5 分散型アルゴリズムにおける同期および通信遅延の厳密な分析を可能にする理論的枠組みは何か？

主な発見

• ADFSの収束時間は $ m + \sqrt{m\kappa_s} + (1+\tau)\sqrt{\frac{\kappa_s}{\gamma}} $ であり、単一マシン上で最適なアルゴリズムが $ m $ 個のサンプルを処理する時間と一致する。
• $ n $ 台のマシン上で、ADFSは単一マシン上で最適なアルゴリズムが $ m $ 個のサンプルを学習する時間に $ nm $ 個のサンプルを処理する。これは線形スケーリング効率を示している。
• 特に通信遅延が高い状況（$ \tau = 50 $）において、最新の分散型手法（MSDA や DSBA）を上回る性能を示した。
• 高遅延環境では、ADFSは大きな通信オーバーヘッドを回避でき、有効バッチサイズを小さく保てるため、集中型のKatyushaを上回った。
• 拡張グラフモデルと正確な同期タイミングに基づく理論的分析により、ネットワーク遅延とトポロジーを考慮した収束のタイトなバインディングが得られた。
• HiggsおよびCovtypeデータセットにおける実験により、ADFSは高遅延環境下で優れた性能を示し、異なるネットワークサイズや遅延条件においても安定した性能を発揮した。