[論文レビュー] A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Feb 12, 2021

Stochastic Gradient Optimization Techniques参考文献 51被引用数 8

ひとこと要約

本稿では、グローバル勾配追跡とローカルハイブリッド確率的勾配推定器を組み合わせることで、非凸分散最適化において、スチューディオ・フォース・オラクル（SFO）の下でε-正確な一次静止点を求める際、ネットワークのトポロジーに依存しないオラクル複雑度$O(n^{-1}\theta^{-3})$を達成する、新しいシングルループ分散確率的勾配法GT-HSGDを提案する。これは理論的および実用的両面で既存手法を上回る。

ABSTRACT

This paper considers decentralized stochastic optimization over a network of $n$ nodes, where each node possesses a smooth non-convex local cost function and the goal of the networked nodes is to find an $ε$-accurate first-order stationary point of the sum of the local costs. We focus on an online setting, where each node accesses its local cost only by means of a stochastic first-order oracle that returns a noisy version of the exact gradient. In this context, we propose a novel single-loop decentralized hybrid variance-reduced stochastic gradient method, called GT-HSGD, that outperforms the existing approaches in terms of both the oracle complexity and practical implementation. The GT-HSGD algorithm implements specialized local hybrid stochastic gradient estimators that are fused over the network to track the global gradient. Remarkably, GT-HSGD achieves a network topology-independent oracle complexity of $O(n^{-1}ε^{-3})$ when the required error tolerance $ε$ is small enough, leading to a linear speedup with respect to the centralized optimal online variance-reduced approaches that operate on a single node. Numerical experiments are provided to illustrate our main technical results.

研究の動機と目的

• 各ノードがプライベートな非凸局所コスト関数を有し、スチューディオ・フォース・オラクル（SFO）を介してのみアクセス可能な分散確率的非凸最適化の課題に対処すること。
• オンライン非凸設定下で、既存手法よりも高速な収束と低いオラクル複雑度を達成する分散アルゴリズムを設計すること。
• オラクル複雑度におけるネットワークトポロジー依存性を排除することで、集中型最適オンラインバリアンス低減手法に対する線形スループットを実現すること。
• 実用的かつ理論的に整合性のあるアルゴリズムを開発し、ローカルハイブリッド確率的勾配推定器とグローバル勾配追跡を統合して、強固な性能を実現すること。

提案手法

• GT-HSGDは、ローカル通信を用いてネットワーク全体でグローバル勾配の推定値を維持するグローバル勾配追跡メカニズムを採用する。
• バニラSFO勾配とSARAH型バリアンス低減勾配を組み合わせたローカルハイブリッド確率的勾配推定器を用い、全勾配計算を必要とせずに勾配ノイズを低減する。
• 二重ループバリアンス低減手法で一般的に見られる内側のループを回避するシングルループ構造を採用しており、実用的効率が向上する。
• 有向ネットワークグラフ上で一貫性ベースの通信プロ rotocol を活用し、ローカル推定値の同期とグローバル勾配の追跡を実現する。
• 勾配追跡誤差とバリアンス低減のバランスを取ることで、ε-正確な一次静止点への収束を保証する。
• 理論的分析により、SFOにおける平均二乗滑らかさ（MSS）仮定の下での収束が確立され、これはオンラインバリアンス低減文献で標準的である。

実験結果

リサーチクエスチョン

• RQ1 分散確率的非凸最適化アルゴリズムは、オンラインSFO設定下でネットワークトポロジーに依存しないオラクル複雑度を達成できるか？
• RQ2 グローバル勾配追跡とローカルハイブリッド確率的勾配推定器を組み合わせることで、既存の分散手法と比較して収束速度が向上するか？
• RQ3 シングルループアルゴリズムは、分散非凸最適化において、理論的オラクル複雑度および実装の両面で二重ループバリアンス低減手法を上回ることができるか？
• RQ4 分散環境下で線形スループットを達成するための、局所計算、通信、バリアンス低減の最適なトレードオフは何か？

主な発見

• GT-HSGDは$O(n^{-1}ε^{-3})$のオラクル複雑度を達成し、これはネットワークトポロジーに依存せず、最良の集中型オンラインバリアンス低減手法と一致する。
• ノード数$n$に対して線形スループットを達成し、収束速度が$n$に対して最適にスケーリングされる。
• 特に非凸かつ確率的設定下で、DSGD、D2、GT-DSGD、D-PD-SGDよりもオラクル複雑度において優れている。
• 収束保証は、オンラインバリアンス低減技術に必須である標準的な平均二乗滑らかさ（MSS）仮定の下で成立する。
• 数値実験により理論的結果が検証され、ベースラインの分散アルゴリズムと比較して、より高速な収束と低いオラクル使用量が示された。
• 通信コストとバリアンス低減の間で望ましいトレードオフを実現しており、大規模分散機械学習に適している。