[論文レビュー] Distributed Proximal Gradient Algorithm for Partially Asynchronous Computer Clusters

Yi Zhou, Yaoliang Yu+3 more|arXiv (Cornell University)|Apr 11, 2017

Stochastic Gradient Optimization Techniques参考文献 46被引用数 15

ひとこと要約

本稿では、部分的非同期コンピュータクラスタを対象とした分散モデル並列近接勾配法 m-PAPG を提案する。大規模な機械学習における効率的かつ強固な最適化を可能にし、収束保証を確立する。すべての極限点が臨界点であること、誤差バインディング下で関数値が線形に減少すること、Kurdyka-Łojasiewicz 不等式と近接リプシッツ条件の下で列が同じ臨界点に収束することを示す。

ABSTRACT

With ever growing data volume and model size, an error-tolerant, communication efficient, yet versatile distributed algorithm has become vital for the success of many large-scale machine learning applications. In this work we propose m-PAPG, an implementation of the flexible proximal gradient algorithm in model parallel systems equipped with the partially asynchronous communication protocol. The worker machines communicate asynchronously with a controlled staleness bound $s$ and operate at different frequencies. We characterize various convergence properties of m-PAPG: 1) Under a general non-smooth and non-convex setting, we prove that every limit point of the sequence generated by m-PAPG is a critical point of the objective function; 2) Under an error bound condition, we prove that the function value decays linearly for every $s$ steps; 3) Under the Kurdyka-$Ł$ojasiewicz inequality, we prove that the sequences generated by m-PAPG converge to the same critical point, provided that a proximal Lipschitz condition is satisfied.

研究の動機と目的

• 大規模な機械学習におけるモデル並列システム向けに、スケーラブルで通信効率が高く、誤差に強い分散最適化アルゴリズムの開発。
• バッチ同期型および完全非同期型システムの限界を克服するため、制御された遅延バインディング $s$ を有する部分的非同期プロトコルを導入。
• モデル並列性と部分的非同期性の下で近接勾配法の形式的収束解析を提供し、従来の研究を滑らかでない非凸設定へと拡張。
• 臨界点への収束、誤差バインディング下での線形減少、Kurdyka-Łojasiewicz 不等式下での同じ臨界点への収束を確立。
• より広範な適用性を実現するため、滑らかでない関数に対する近接リプシッツ条件を緩和。

提案手法

• m-PAPG はモデルベクトル $\mathbf{x}$ を互いに素なブロックに分割し、それらをワーカーマシンに分散してモデル並列性を実現。
• ワーカーは遅延バインディング $s$ を満たす範囲内で非同期に更新を行い、適用時の更新があまりに古くならないように保証。
• 各ワーカーでは近接勾配ステップを実行し、滑らかでない正則化に対応するため、勾配降下と近接作用素を組み合わせる。
• 収束解析にはリャプノフ関数と再帰的不等式を用い、反復値間の距離をバインドし、有限長の列を保証。
• 主な技術的ツールとして誤差バインディング条件とKurdyka-Łojasiewicz 不等式を用い、線形収束レートを確立。
• 一般の滑らかでない非凸目的関数をサポートし、$\ell_1$-正則化や基数関数を含む。

実験結果

リサーチクエスチョン

• RQ1 制御された遅延バインディングを有する部分的非同期性下でも、分散モデル並列近接勾配アルゴリズムは収束を維持できるか？
• RQ2 m-PAPG アルゴリズムにおいて、関数値がどの条件下で線形に減少するか？
• RQ3 m-PAPG が生成する列は同じ臨界点に収束するか？ その条件は何か？
• RQ4 収束保証を滑らかでない非凸目的関数、特に基数関数やランク関数へと拡張できるか？
• RQ5 収束に必要な仮定は何か？ また、より広範な適用性を実現するため、近接リプシッツ条件を緩和できるか？

主な発見

• 一般の滑らかでない非凸設定下で、m-PAPG が生成する列のすべての極限点は、目的関数の臨界点である。
• 誤差バインディング条件下では、関数値が毎 $s$ ステップごとに線形に減少し、周期的な線形収束レートを示す。
• Kurdyka-Łojasiewicz 不等式と近接リプシッツ条件の下で、反復値は同じ臨界点に収束する。
• 十分に小さなステップサイズ $\eta$ に対して、十分減少性の性質が成り立ち、各ステップで目的関数が十分に減少することが保証される。
• 解析により、基数関数 $\|\mathbf{x}\|_0$ が収束に必要な仮定を満たし、極限においてサポート安定性を示すことが確認された。
• 本手法は計算誤差に対しても強健であり、$\ell_1$-ノルムやランクベース正則化子を含む広範な滑らかでない非凸関数をサポートする。