[論文レビュー] Asymptotic Network Independence in Distributed Stochastic Optimization for Machine Learning

Shi Pu, Alex Olshevsky+1 more|arXiv (Cornell University)|Jun 28, 2019

Stochastic Gradient Optimization Techniques参考文献 40被引用数 5

ひとこと要約

本稿は、分散確率的最適化における漸近的ネットワーク独立性を確立し、特定の条件下では、計算能力が同等の集中型手法と同等の速度で収束する分散手法の収束速度を示している。ネットワーク上の分散確率的勾配降下法（DSGD）の分析を通じて、一致誤差と最適化誤差の両方が類似する速度で減少することを示し、ノード数の増加に伴い、ネットワーク構造にかかわらずほぼ最適な性能を達成することがわかった。

ABSTRACT

We provide a discussion of several recent results which, in certain scenarios, are able to overcome a barrier in distributed stochastic optimization for machine learning. Our focus is the so-called asymptotic network independence property, which is achieved whenever a distributed method executed over a network of n nodes asymptotically converges to the optimal solution at a comparable rate to a centralized method with the same computational power as the entire network. We explain this property through an example involving the training of ML models and sketch a short mathematical analysis for comparing the performance of distributed stochastic gradient descent (DSGD) with centralized stochastic gradient decent (SGD).

研究の動機と目的

• ネットワーク連携コストや通信遅延による分散確率的最適化の性能低下を是正すること。
• ネットワーク由来のボトル neck にかかわらず、分散アルゴリズムが集中型手法と同等の収束速度を達成できるかどうかを調査すること。
• 分散学習システムにおけるネットワークトポロジー、通信遅延、収束速度の相互作用を分析すること。
• 分散最適化がネットワーク構造に漸近的に依存しなくなる条件を同定し、機械学習モデルのスケーラブルかつ効率的な学習を可能にすること。
• 漸近的収束に至るまでの一時的段階と、そのネットワーク接続性およびサイズに依存する性質を調査すること。

提案手法

• 各ノードが部分的なデータを保持する $ n $ 個のノードから成るネットワーク上で、局所的凸関数の和を最小化する分散最適化問題を定式化すること。
• ピアツーピア通信を用いた分散確率的勾配降下法（DSGD）を採用し、各ノードが局所勾配を計算し、隣接ノードの状態の重み付き平均を用いて更新を行うこと。
• 対称的かつ双方向確率的遷移行列を保証するため、メトロポリス重みを用いること。これにより、一致への収束が可能となる。
• 最適化誤差（最適解からの距離）と一致誤差（ノード間の合意からの逸脱）に分解することで収束を分析すること。
• 複数回のモンテカルロシミュレーションを用いて、DSGDの性能を集中型SGDと比較し、期待誤差指標を用いること。
• オンライン学習シナリオをモデル化し、収束ダイナミクスを評価するために、不偏な確率的勾配を用いたリッジ回帰の定式化を採用すること。

実験結果

リサーチクエスチョン

• RQ1 分散確率的最適化が、集中型手法と同等の収束速度を達成できる条件は何か？
• RQ2 ネットワークトポロジーは、分散アルゴリズムの一時的段階および漸近的収束速度にどのように影響するか？
• RQ3 通信遅延やメッセージ損失は、大規模システムにおける分散最適化の性能にどの程度影響を及えるか？
• RQ4 一致誤差が最適化誤差よりも速く減少することは可能か？その場合、アルゴリズム設計にどのような含意があるか？
• RQ5 確率的勾配の使用は、集中型手法と比較して、分散手法の漸近的挙動にどのように影響を及えるか？

主な発見

• DSGDは漸近的ネットワーク独立性を達成する：初期の一時的段階を経て、ネットワークサイズやトポロジーにかかわらず、DSGDの収束速度は集中型SGDと一致する。
• ランダムネットワークおよびグリッドネットワークの両方において、DSGDの期待最適化誤差は、最終的に集中型SGDと区別できず、収束速度が一致する。ランダムネットワークでは約800イテレーション後、グリッドネットワークでは約40,000イテレーション後に一致する。
• 一致誤差は最適化誤差よりも速く減少しており、ノードが最適解に収束する前に合意に達していることが示唆される。
• 漸近的収束に至るまでの一時的時間はネットワークの接続性に依存する。ランダムネットワーク（高い接続性）はグリッドネットワークよりも漸近的領域に早く到達する。
• メトロポリス重みの使用により、収束が保証され、最適化誤差と一致誤差の成分に分解する理論的分析が可能になった。
• 凸、滑らか、強く凸な目的関数に不偏な確率的勾配を適用した場合に本結果は成り立つため、一般的な機械学習学習問題への広範な適用可能性が示唆される。