[論文レビュー] Fast decentralized non-convex finite-sum optimization with recursive variance reduction

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Aug 17, 2020

Stochastic Gradient Optimization Techniques参考文献 56被引用数 11

ひとこと要約

本稿では、有向ネットワーク上の非凸有限和問題に対する分散型確率的1階最適化アルゴリズムであるGT-SARAHを提案する。勾配追跡と再帰的分散低減（SARAH）を組み合わせることで、大規模データ環境下において、$\mathcal{O}(N^{1/2}L\epsilon^{-2})$ の最適な勾配複雑度を達成し、集中型の近似的最適手法と同等の性能を発揮するとともに、ノード間で非漸近的線形スケーリングを実現する。

ABSTRACT

This paper considers decentralized minimization of $N:=nm$ smooth non-convex cost functions equally divided over a directed network of $n$ nodes. Specifically, we describe a stochastic first-order gradient method, called GT-SARAH, that employs a SARAH-type variance reduction technique and gradient tracking (GT) to address the stochastic and decentralized nature of the problem. We show that GT-SARAH, with appropriate algorithmic parameters, finds an $ε$-accurate first-order stationary point with $O\big(\max\big\{N^{\frac{1}{2}},n(1-λ)^{-2},n^{\frac{2}{3}}m^{\frac{1}{3}}(1-λ)^{-1}\big\}Lε^{-2}\big)$ gradient complexity, where ${(1-λ)\in(0,1]}$ is the spectral gap of the network weight matrix and $L$ is the smoothness parameter of the cost functions. This gradient complexity outperforms that of the existing decentralized stochastic gradient methods. In particular, in a big-data regime such that ${n = O(N^{\frac{1}{2}}(1-λ)^{3})}$, this gradient complexity furthers reduces to ${O(N^{\frac{1}{2}}Lε^{-2})}$, independent of the network topology, and matches that of the centralized near-optimal variance-reduced methods. Moreover, in this regime GT-SARAH achieves a non-asymptotic linear speedup, in that, the total number of gradient computations at each node is reduced by a factor of $1/n$ compared to the centralized near-optimal algorithms that perform all gradient computations at a single node. To the best of our knowledge, GT-SARAH is the first algorithm that achieves this property. In addition, we show that appropriate choices of local minibatch size balance the trade-offs between the gradient and communication complexity of GT-SARAH. Over infinite time horizon, we establish that all nodes in GT-SARAH asymptotically achieve consensus and converge to a first-order stationary point in the almost sure and mean-squared sense.

研究の動機と目的

• 高次元で非凸なコスト関数がネットワーク上のノードに分散配置された状況における、分散型非凸有限和最適化の課題に対処すること。
• 新しい分散低減メカニズムを用いて、確率的勾配の高分散性と分散環境における合意形成の欠如を克服すること。
• 分散計算と通信を維持しつつ、集中型近的最適アルゴリズムと同等の最適な勾配複雑度を達成すること。
• 大規模データ環境下で非漸近的線形スケーリングを確立すること。ここで、ノードごとの総勾配計算量は集中型手法と比較して$1/n$に比例する。

提案手法

• 分散型非凸最適化に適した勾配追跡（GT）とSARAH分散低減技術を統合した確率的1階手法GT-SARAHを提案する。
• 局所的な確率的勾配と過去の推定値を用いて、各ノードで低分散勾配推定値を維持する再帰的分散低減スキームを採用する。
• 勾配追跡を組み込んで、ネットワーク全体で局所的推定値を一致させることで、合意形成を確保し、1階停留点への収束を実現する。
• 解析の簡素化と収束保証の維持を目的として、二重ループ構造を単一ループに再定式化する。
• 局所的なミニバッチサイズを適応的に選択することで、勾配複雑度と通信複雑度のバランスを取る。
• 収束性を解析するための新しい再帰的不等式系と行列ノルムの境界を用い、タイトな勾配複雑度の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 分散型アルゴリズムは、非凸有限和問題において、集中型近的最適分散低減手法と同等の勾配複雑度を達成できるか？
• RQ2 $n = \mathcal{O}(N^{1/2}(1-\lambda)^3)$ である大規模データ環境下で、提案手法が非漸近的線形スケーリングを達成するか？
• RQ3 再帰的分散低減は、確率的勾配を用いた分散型非凸最適化における収束性をどのように向上させるか？
• RQ4 提案手法における勾配複雑度と通信複雑度のトレードオフは何か？
• RQ5 アルゴリズムは、確実かつ平均二乗意味で合意形成が達成され、1階停留点への収束が保証されるか？

主な発見

• GT-SARAHは、$\mathcal{O}\big{(}\max\big{\{}N^{1/2},n(1-\lambda)^{-2},n^{2/3}m^{1/3}(1-\lambda)^{-1}\big{\}}L\epsilon^{-2}\big{)}$ の勾配複雑度を達成し、既存の分散型確率的勾配手法よりもタイトである。
• 大規模データ環境下（$n = \mathcal{O}(N^{1/2}(1-\lambda)^3)$）では、勾配複雑度が$\mathcal{O}(N^{1/2}L\epsilon^{-2})$ に簡略化され、集中型最適レートと一致する。
• アルゴリズムは非漸近的線形スケーリングを達成する。ノードごとの総勾配計算量は、集中型手法と比較して$1/n$の要因で削減される。
• すべてのノードは漸近的に合意に達し、確実かつ平均二乗意味で1階停留点への収束を達成する。
• 適切な局所的ミニバッチサイズの選択により、勾配複雑度と通信複雑度のトレードオフがバランスされる。
• 解析では、$L$-スムーズ性と局所勾配分散の有界性を仮定し、ネットワークのスペクトルギャップ$(1-\lambda)$に明示的な依存関係を示した。