[論文レビュー] DSA: Decentralized Double Stochastic Averaging Gradient Algorithm

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|Jun 13, 2015

Stochastic Gradient Optimization Techniques参考文献 33被引用数 146

ひとこと要約

本稿では、二重の確率的勾配平均化と連続する確率的勾配の差分に基づく降下ステップを用いることで、強い凸性および滑らかさを満たす目的関数に対して期待値における線形収束を達成する分散なしの確率的最適化アルゴリズム DSA を提案する。従来の分散なし確率的手法が部分線形収束率を示すのに対し、DSA は分散低減と隣接ノード間の通信に限った局所的計算により高速収束を実現する。

ABSTRACT

This paper considers convex optimization problems where nodes of a network have access to summands of a global objective. Each of these local objectives is further assumed to be an average of a finite set of functions. The motivation for this setup is to solve large scale machine learning problems where elements of the training set are distributed to multiple computational elements. The decentralized double stochastic averaging gradient (DSA) algorithm is proposed as a solution alternative that relies on: (i) The use of local stochastic averaging gradients. (ii) Determination of descent steps as differences of consecutive stochastic averaging gradients. Strong convexity of local functions and Lipschitz continuity of local gradients is shown to guarantee linear convergence of the sequence generated by DSA in expectation. Local iterates are further shown to approach the optimal argument for almost all realizations. The expected linear convergence of DSA is in contrast to the sublinear rate characteristic of existing methods for decentralized stochastic optimization. Numerical experiments on a logistic regression problem illustrate reductions in convergence time and number of feature vectors processed until convergence relative to these other alternatives.

研究の動機と目的

• 既存の分散なし確率的最適化手法に見られる線形収束の欠如を是正すること。これらの手法は一般的に部分線形収束率を示す。
• 反復ごとの計算コストを低く保ちながら、部分線形手法よりも高速な収束を達成できる分散型アルゴリズムの開発。
• 各エージェントがサンプルのサブセットを処理するネットワーク全体にトレーニングデータを分散させることで、大規模な機械学習の効率的実行を可能にすること。
• 強い凸性およびリプシッツ連続勾配の条件下で、最適解への期待値における線形収束を達成し、確率的手法における分散に起因する遅延を克服すること。

提案手法

• DSA は局所的確率的勾配平均化を用いる。各ノードは反復毎に自身の局所関数の一つをサンプリングし、最新の確率的勾配の累積平均を維持する。
• 降下ステップは連続する確率的勾配平均の差分として計算され、分散低減と収束の向上を実現する。
• EXTRA アルゴリズムを鞍点法として再定式化し、決定的勾配を確率的近似に置き換えることで、反復あたりのコストを低減する。
• ノードは隣接ノードとのみ通信する分散ネットワークで動作し、スケーラビリティとプライバシーを確保する。
• リャプノフ関数を用いたスーパーマルティングルの解析により収束を確立し、目的変数と双対変数を組み合わせた関数を用いる。適切に選ばれたステップサイズおよびモーメンタムパラメータを用いる。
• 強い凸性およびリプシッツ連続勾配の仮定の下で、DSA は期待値において線形収束することが理論的に証明され、ステップサイズ、モーメンタム、分散低減パラメータに関する明示的な条件が得られる。

実験結果

リサーチクエスチョン

• RQ1 分散なし確率的最適化アルゴリズムが、最良の決定的手法に相当する期待値における線形収束を達成できるか？
• RQ2 グローバル勾配評価を必要とせずに、分散環境における確率的勾配の分散をどのように低減できるか？
• RQ3 ステップサイズ、モーメンタム、分散低減パラメータにどのような条件を課すと、期待値における線形収束が保証されるか？
• RQ4 EXTRA アルゴリズムの線形収束特性を、二重勾配平均化を用いた確率的・分散型設定に適応できるか？

主な発見

• DSA は強い凸性および滑らかさを満たす目的関数に対して、期待値における線形収束を達成する。最適解からの期待距離は各反復で幾何的に減少する。
• 確率的近似誤差が存在する状況下でも、局所的反復が最適解にほとんど確実に収束することを保証する。
• ロジスティック回帰における数値実験では、既存の分散なし確率的手法と比較して、収束時間を短縮し、処理された特徴ベクトルの数を削減できる。
• DSA の収束速度は線形（すなわち、ρ < 1 のもとで O(ρ^t)）であり、標準的な分散なし確率的勾配法の部分線形 O(1/t) とは対照的である。
• 理論的解析により、δ > 0 および線形収束を保証するためのステップサイズ η、モーメンタム α、分散低減パラメータ c に関する明示的な条件が確立された。
• 各ノードが反復ごとに一つの局所関数評価のみを実行するため、計算コストを低く保ちながらも、高速な収束を達成する。