[論文レビュー] A near-optimal stochastic gradient method for decentralized non-convex finite-sum optimization.

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Aug 17, 2020

Stochastic Gradient Optimization Techniques参考文献 2被引用数 9

ひとこと要約

本稿では、局所的なSARAH型分散低減とグローバル勾配追跡を組み合わせた、非凸有限和最適化のための近似的に最適な分散型確率的勾配法GT-SARAHを提案する。ネットワークサイズとスペクトルギャップの条件下で、すべてのノードにおける勾配計算の複雑度が${\mathcal{O}(N^{1/2}\epsilon^{-1})}$に達し、アルゴリズムの下界に一致する。また、ノードごとの計算量を$1/n$の要因で削減することで、非漸近的線形スケーリングを達成する。

ABSTRACT

This paper describes a $near$-$optimal$ stochastic first-order gradient method for decentralized finite-sum minimization of smooth non-convex functions. Specifically, we propose GT-SARAH that employs a local SARAH-type variance reduction and global gradient tracking to address the stochastic and decentralized nature of the problem. Considering a total number of $N$ cost functions, equally divided over a directed network of $n$ nodes, we show that GT-SARAH finds an $\epsilon$-accurate first-order stationary point in ${\mathcal{O}(N^{1/2}\epsilon^{-1})}$ gradient computations across all nodes, independent of the network topology, when ${n\leq\mathcal{O}(N^{1/2}(1-\lambda)^{3})}$, where ${(1-\lambda)}$ is the spectral gap of the network weight matrix. In this regime, GT-SARAH is thus, to the best our knowledge, the first decentralized method that achieves the algorithmic lower bound for this class of problems. Moreover, GT-SARAH achieves a $non$-$asymptotic$ $linear$ $speedup$, in that, the total number of gradient computations at each node is reduced by a factor of $1/n$ compared to the near-optimal algorithms for this problem class that process all data at a single node. We also establish the convergence rate of GT-SARAH in other regimes, in terms of the relative sizes of the number of nodes $n$, total number of functions $N$, and the network spectral gap $(1-\lambda)$. Over infinite time horizon, we establish the almost sure and mean-squared convergence of GT-SARAH to a first-order stationary point.

研究の動機と目的

• 分散型非凸有限和最適化における確率的勾配と限られた通信の課題に対処する。
• 既存の分散型手法の非効率性を克服し、近的最適収束速度を達成する。
• 局所的分散低減とグローバル勾配追跡を活用することで、ノード間での勾配計算に非漸近的線形スケーリングを実現する。
• 一般のネットワークトポロジーと有限和構造のもとで収束保証を確立する。
• ネットワークサイズとスペクトルギャップの特定の範囲において、この問題クラスの理論的アルゴリズム下界に到達する。

提案手法

• 局所的SARAH型分散低減とグローバル勾配追跡を組み合わせた分散型確率的1次最適化手法を導入する。
• $n$ 個のノードにわたる全最適化問題を分解し、各ノードは$N/n$ 個の関数のサブセットを処理する。各ノードはグローバル勾配の局所的推定値を維持する。
• 各ノードにおける確率的勾配の分散低減を向上させるために、局所的SARAH型更新を用いる。
• 重み付きネットワーク行列によるグローバル勾配追跡を用いて、局所的勾配推定値を真のグローバル勾配に一致させる。
• ネットワーク重み行列のスペクトルギャップ$(1 - \lambda)$を調整することで、通信と計算のトレードオフを制御する。
• 反復処理中に一貫した勾配追跡と分散低減更新を維持することで収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 分散型確率的勾配法は、非凸有限和問題においてアルゴリズム下界に到達できるか？
• RQ2 提案手法は、中央集権的近的最適手法と比較して、ノード間での勾配計算に非漸近的線形スケーリングを達成できるか？
• RQ3 ネットワークのスペクトルギャップ$(1 - \lambda)$とノード数$n$は、アルゴリズムの収束速度にどのように影響するか？
• RQ4 無限時間ホライズンにおけるほとんど確実収束および平均二乗収束の観点から、この手法の収束挙動はいかなるものか？
• RQ5 $n$、$N$、$(1 - \lambda)$の異なる範囲において、この手法は近的最適性を維持できるか？

主な発見

• GT-SARAHは、$\epsilon$-精度の1次静止点に到達するまでに、すべてのノードで${\mathcal{O}(N^{1/2}\epsilon^{-1})}$の総勾配計算を達成し、既知のアルゴリズム下界と一致する。
• 条件$n \leq \mathcal{O}(N^{1/2}(1 - \lambda)^3)$の下で、GT-SARAHは理論的下界に到達し、これにより、初めてそのような分散型手法として知られる。
• 非漸近的線形スケーリングが達成される：中央集権的近的最適アルゴリズムと比較して、ノードごとの勾配計算総数が$1/n$の要因で削減される。
• 無限時間ホライズンにおけるほとんど確実収束および平均二乗収束が確立され、確率的ノイズに対して高いロバストネスが確認される。
• 収束速度は複数の範囲で分析され、$n$、$N$、スペクトルギャップ$(1 - \lambda)$に依存することが示され、明示的な境界が提示される。
• 勾配追跡と分散低減の活用により、一般の有向ネットワークトポロジーにかかわらず、この手法は有効である。