[論文レビュー] Analysis and Implementation of an Asynchronous Optimization Algorithm for the Parameter Server

Arda Aytekin, Hamid Reza Feyzmahdavian+1 more|arXiv (Cornell University)|Oct 18, 2016

Stochastic Gradient Optimization Techniques参考文献 14被引用数 29

ひとこと要約

本稿では、一般の凸正則化子と制約を扱えるパラメータサーバーフレームワーク向けに、非同期な近位的逐次集約勾配アルゴリズムを提案する。非同期性に依存する明示的なステップサイズルールを用いて線形収束を確立し、同期動作下では古典的な結果を回復し、シミュレート済みおよび実世界のデータセット上で性能を検証する。

ABSTRACT

This paper presents an asynchronous incremental aggregated gradient algorithm and its implementation in a parameter server framework for solving regularized optimization problems. The algorithm can handle both general convex (possibly non-smooth) regularizers and general convex constraints. When the empirical data loss is strongly convex, we establish linear convergence rate, give explicit expressions for step-size choices that guarantee convergence to the optimum, and bound the associated convergence factors. The expressions have an explicit dependence on the degree of asynchrony and recover classical results under synchronous operation. Simulations and implementations on commercial compute clouds validate our findings.

研究の動機と目的

• パラメータサーバーアーキテクチャにおける大規模機械学習の最適化アルゴリズムを構築し、非同期更新および一般の凸正則化子をサポートすること。
• 経験的損失関数が強い凸性を満たす場合、非同期状態下でもアルゴリズムの線形収束を確立すること。
• グローバル最適解への収束を保証する明示的なステップサイズルールを提供し、非同期の度合いに依存すること。
• 理論的境界を、クラウドベースのコンピューティングクラスタ上で実施したシミュレーションおよび実世界の実験により検証すること。

提案手法

• アルゴリズムは、非同期的逐次集約勾配アプローチを用い、各ワーカーがローカルデータ上で勾配を計算し、遅延を伴ってマスタに送信する。
• マスタはグローバルな反復点を維持し、すべてのワーカーから最新に受信した勾配を集約してパラメータベクトルを更新する。
• 一般の凸正則化子（例：スパarsityのためのℓ1）および凸制約を最適化問題で取り扱うために、プロキシマル作用素が適用される。
• 理論的分析から導出された定数ステップサイズルールが採用され、システム内の最大遅延（非同期性）を明示的に考慮する。
• 収束解析にはリャプノフ関数が用いられ、非同期の度合いと強い凸性パラメータに依存する収束因子を持つ線形収束が確立される。
• フレームワークはJuliaで実装され、実データセット（rcv1, url, epsilon）を用いてAmazon EC2上でクラウドベースのコンピューティングクラスタ上で実験が行われ、理論的発見の検証がなされた。

実験結果

リサーチクエスチョン

• RQ1 非同期近位的逐次集約勾配法は、一般の凸正則化子および制約を伴う強い凸問題に対して線形収束を達成できるか？
• RQ2 パラメータサーバー環境下で、既知の非同期レベルを想定した場合に収束を保証する明示的なステップサイズルールは何か？
• RQ3 非同期の度合いは、アルゴリズムの収束速度および安定性にどのように影響するか？
• RQ4 理論的収束境界は、実世界の大規模データセット上で経験的に検証可能か？

主な発見

• 経験的損失関数が強い凸性を満たす場合、非同期状態下でもアルゴリズムはグローバル最適解への線形収束を達成する。
• 最大遅延（非同期度）に依存する明示的なステップサイズルールが導出され、遅延がゼロの同期動作下では古典的な結果が回復される。
• 理論的収束因子は有界であり、非同期度に明示的に依存する。特に、epsilonのような密度の高いデータセットではよりタイトな境界が観察される。
• Amazon EC2上で3つの実データセット（rcv1, url, epsilon）を用いたシミュレーションおよび実験により、反復点が最適化子に収束し、理論的上界が収束行動を正確に予測することが確認された。
• データセットの密度が高くなるにつれて、理論的上界と実際の収束の差が縮小する傾向が示され、密度の高い問題では理論的予測がよりタイトであることが示された。