[論文レビュー] D-SPIDER-SFO: A Decentralized Optimization Algorithm with Faster Convergence Rate for Nonconvex Problems

Taoxing Pan, Jun Liu+1 more|arXiv (Cornell University)|Nov 28, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用数 4

ひとこと要約

本稿では、非凸問題に対する分散型最適化アルゴリズム D-SPIDER-SFO を提案する。この手法は、𝜖-近似第一階停留点を求めるために 𝒪(𝜖⁻³) の勾配計算コストを達成し、中央集権型対応手法 SPIDER-SFO と同等の最先端の性能を達成する。本手法は分散型の分散低減とコンSENSUSを活用し、ピアツーピアネットワークにおけるバランスの取れた通信を実現することで、収束を高速化する。

ABSTRACT

Decentralized optimization algorithms have attracted intensive interests recently, as it has a balanced communication pattern, especially when solving large-scale machine learning problems. Stochastic Path Integrated Differential Estimator Stochastic First-Order method (SPIDER-SFO) nearly achieves the algorithmic lower bound in certain regimes for nonconvex problems. However, whether we can find a decentralized algorithm which achieves a similar convergence rate to SPIDER-SFO is still unclear. To tackle this problem, we propose a decentralized variant of SPIDER-SFO, called decentralized SPIDER-SFO (D-SPIDER-SFO). We show that D-SPIDER-SFO achieves a similar gradient computation cost---that is, $\mathcal{O}(ε^{-3})$ for finding an $ε$-approximate first-order stationary point---to its centralized counterpart. To the best of our knowledge, D-SPIDER-SFO achieves the state-of-the-art performance for solving nonconvex optimization problems on decentralized networks in terms of the computational cost. Experiments on different network configurations demonstrate the efficiency of the proposed method.

研究の動機と目的

• 非凸最適化のための中央集権型 SPIDER-SFO の分散型バージョンを開発し、中央集権型手法と同等の収束速度を達成すること。
• 特に通信負荷がボトルネックとなる状況において、分散型非凸最適化の高速収束レートのギャップを埋めること。
• 分散型ネットワークにおける計算コストを低減しつつ、収束を高速化するために分散低減技術を活用すること。
• 分散型アルゴリズムが非凸設定において近似的に最適な勾配複雑度を達成できることを示すこと。これは理論的下界と一致する。

提案手法

• SPIDER-SFO の分散型拡張として、分散低減を用いた局所的確率的勾配推定器を用いる D-SPIDER-SFO を提案する。
• 各ノードが隣接ノードとのみ通信することで、バランスの取れた通信負荷を維持するコンセンサスに基づく更新ルールを採用する。
• 勾配推定のための反復あたりのサンプル数を制御する3つのハイパーパramータ S₁, S₂, および q を用いたハイブリッドサンプリング戦略を導入する。
• 徐々に小さくなるステップサイズと適応的サンプリングを用いることで、反復全体にわたる収束速度と分散低減のバランスを取る。
• 複数のサンプルからの勾配情報の組み合わせを実行する局所的アップデートメカニズムを適用し、分散性を維持しながら分散を低減する。
• 理論的分析は、局所的反復の平均における勾配の期待ノルムをバウンドすることに依存し、𝜖-近似停留点への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 分散型最適化アルゴリズムは、非凸問題において SPIDER-SFO と同等の 𝒪(𝜖⁻³) の勾配計算コストを達成できるか？
• RQ2 D-SPIDER-SFO は、通信負荷がバランス取られた分散型ネットワーク制約下でも高速収束を維持するか？
• RQ3 D-SPIDER-SFO の通信コストは、中央集権型 SPIDER-SFO や他の分散型ベースライン（D-PSGD や D²）と比較してどうなるか？
• RQ4 D-SPIDER-SFO の理論的収束保証は、勾配ノルムおよび期待関数値の減少の観点でどの程度か？

主な発見

• D-SPIDER-SFO は、𝜖-近似第一階停留点を求めるために 𝒪(𝜖⁻³) の勾配計算コストを達成し、非凸問題の理論的下界と一致する。
• このアルゴリズムは中央集権型 SPIDER-SFO と同等の収束速度を達成しており、分散型非凸最適化分野における最先端の性能を示している。
• 中央集権型 SPIDER-SFO よりも通信負荷が最も高いノードにかかる負荷を低減し、高レイテンシネットワークにおけるスケーラビリティを向上させる。
• 8ノードのCPUクラスタを用いた実験では、D-SPIDER-SFO が D-PSGD や D² を上回る収束速度と安定性を示した。
• 理論的分析により、K反復以内に平均反復における期待勾配ノルムが 𝒪(𝜖²) に収束することが確認され、総勾配コストは 𝒪(𝜖⁻³) でバウンドされている。