[論文レビュー] A Comprehensive Linear Speedup Analysis for Asynchronous Stochastic Parallel Optimization from Zeroth-Order to First-Order

Xiangru Lian, Huan Zhang+3 more|arXiv (Cornell University)|Jun 1, 2016

Stochastic Gradient Optimization Techniques参考文献 48被引用数 29

ひとこと要約

本稿では、零次および一次の最適化手法にわたる非同期確率的最適化における一般化された収束性および線形スケーリング向上の分析を提示し、初めての非同期確率的零次勾配降下法（ASZD）アルゴリズムを導入する。線形スケーリング向上の理論的条件を確立し、実世界のデータにおけるモデルブレンドィングを通じてその有効性を検証し、KDD-Cupベンチマークデータにおいてほぼ線形のスケーリングと競争力のある性能を達成した。

ABSTRACT

Asynchronous parallel optimization received substantial successes and extensive attention recently. One of core theoretical questions is how much speedup (or benefit) the asynchronous parallelization can bring us. This paper provides a comprehensive and generic analysis to study the speedup property for a broad range of asynchronous parallel stochastic algorithms from the zeroth order to the first order methods. Our result recovers or improves existing analysis on special cases, provides more insights for understanding the asynchronous parallel behaviors, and suggests a novel asynchronous parallel zeroth order method for the first time. Our experiments provide novel applications including model blending problems using the proposed asynchronous parallel zeroth order method.

研究の動機と目的

• 零次および一次の最適化手法にわたる非同期確率的最適化における線形スケーリング向上の統一的理論的枠組みを提供すること。
• 線形スケーリング向上の上限に影響を与える要因（問題次元、データのスパarsity、勾配の分散など）がどのように統合的に影響を与えるかを同定すること。
• 関数値のフィードバックのみを用いる非勾配情報を利用した新しい非同期確率的零次勾配降下（ASZD）アルゴリズムの提案と分析。
• 特にブラックボックス目的関数を用いたモデルブレンドィングの応用を通じて、理論的知見の実証的検証を行うこと。

提案手法

• 零次から一次の最適化手法に広く適用可能な、一般化された収束性およびスケーリング向上分析のフレームワークを構築する。
• 最適化問題を滑らかで凸でない期待値の最小化として定式化する：min_x E_ξ[F(x; ξ)]。
• 問題次元N、反復回数K、勾配分散σ、およびデータのスパarsityが、線形スケーリング向上のための最大ワーカー数Tに与える影響を分析する。
• 勾配のアクセスが不要で、関数評価のみを用いる非同期零次最適化手法ASZDを提案する。ブラックボックス環境での最適化が可能となる。
• やや弱い仮定のもとで収束速度とスケーリング向上の境界を導出し、ASGD や ASCD といった特殊ケースに対する先行研究を一般化・改善する。
• パラメータサーバーアーキテクチャを用いて非同期更新を実装し、すべてのワーカーが同期を待たずに処理を継続できるようにし、無駄な待機時間を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 非同期確率的最適化において、零次および一次の最適化手法にわたって線形スケーリング向上が保証される条件は何か？
• RQ2 問題次元、勾配分散、データのスパarsityといった要因が、線形スケーリング向上のためのワーカー数の上限にどのように統合的に影響を与えるか？
• RQ3 非凸問題に対して、収束性が保証された非同期零次最適化手法を設計・分析することは可能か？
• RQ4 提案されたASZDアルゴリズムは、モデルブレンドィングのような実世界のブラックボックス最適化タスクでどの程度の性能を示すか？
• RQ5 提案されたフレームワークは、ASGD や ASCD といった特殊ケースの既存分析をどの程度回復または改善するか？

主な発見

• 提案された一般化された分析は、ASGD や ASCD といった特殊ケースについて、既存のスケーリング上限を回復または改善し、よりタイトな条件やより一般的な条件を提供する。
• 分析により、非凸問題において、ワーカー数TがO(√(N³/² + K N¹/² σ²))の範囲内に制限される場合に線形スケーリング向上が達成可能であることが示された。この境界は、次元N、反復回数K、勾配分散σに依存する。
• 本稿では、初めての非同期並列零次最適化アルゴリズムであるASZDを導入し、収束速度がO(1/√T)であり、適切な条件下で線形スケーリング向上を保証する。
• Yahoo! Musicデータを用いたモデルブレンドィング実験では、10スレッドでテストRMSEが21.1241を達成し、KDD-Cup優勝者と同等の性能を示した。また、10コアマシンで8倍のスループット向上（ほぼ線形）を達成した。
• 限られた反復回数でも迅速に収束し、バリデーションセットで150秒以内に妥当なRMSEに到達した。ブラックボックス環境における実用的効率性を示した。
• 実験結果により、理論的なスケーリング上限が実際の状況でも達成可能であることが確認された。1〜10スレッドの範囲で実行時間のスケーリングがほぼ線形に近づいた。