[論文レビュー] Theoretical Limits of Pipeline Parallel Optimization and Application to Distributed Deep Learning

Igor Colin, Ludovic Dos Santos+1 more|arXiv (Cornell University)|Oct 11, 2019

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は分散ディープラーニングにおけるパイプライン並列最適化の理論的限界を確立し、非滑らか問題に対してPipeline Parallel Random Smoothing (PPRS)を提案する。PPRSはランダムサンプリングによる勾配のスムージングにより近似的に最適な収束を達成し、深さに依存するコンponentsの加速を実現し、限られたデータを用いた少サンプル学習や敵対的学習の設定において、GD や AGD を上回る性能を発揮する。

ABSTRACT

We investigate the theoretical limits of pipeline parallel learning of deep learning architectures, a distributed setup in which the computation is distributed per layer instead of per example. For smooth convex and non-convex objective functions, we provide matching lower and upper complexity bounds and show that a naive pipeline parallelization of Nesterov's accelerated gradient descent is optimal. For non-smooth convex functions, we provide a novel algorithm coined Pipeline Parallel Random Smoothing (PPRS) that is within a $d^{1/4}$ multiplicative factor of the optimal convergence rate, where $d$ is the underlying dimension. While the convergence rate still obeys a slow $\varepsilon^{-2}$ convergence rate, the depth-dependent part is accelerated, resulting in a near-linear speed-up and convergence time that only slightly depends on the depth of the deep learning architecture. Finally, we perform an empirical analysis of the non-smooth non-convex case and show that, for difficult and highly non-smooth problems, PPRS outperforms more traditional optimization algorithms such as gradient descent and Nesterov's accelerated gradient descent for problems where the sample size is limited, such as few-shot or adversarial learning.

研究の動機と目的

• パイプライン並列最適化の理論的限界を分散ディープラーニングにおいて分析すること。
• 少サンプル学習や敵対的学習などの限られた学習データが与えられる設定における、非滑らかで非凸な最適化の課題に対処すること。
• 非滑らかな目的関数に対してパイプライン並列環境で加速収束を可能にする新規アルゴリズムの設計。
• 提案手法が標準的な最適化アルゴリズムよりも優れていることを実験的に検証すること。

提案手法

• パイプライン並列分散環境における勾配推定値にランダム化スムージングを適用する新規アルゴリズムであるPipeline Parallel Random Smoothing (PPRS)を提案する。
• 現在のパラメータの周囲での勾配のモンテカルロサンプリングを用いて、目的関数をスムージングし、非滑らか性の影響を低減する。
• 非滑らかな凸関数における最適レートの $d^{1/4}$ 要因以内に収束レートを達成する、深さに依存する収束解析を導入する。
• 各レイヤーが同時に部分勾配を計算し、遅延が限られたチャネルを介して通信する分散計算モデルを採用する。
• 深さ $ abla$、次元 $d$、問題パラメータを用いて収束複雑度を分析し、$Oig((\text{depth})^2 m + \frac{RL}{\theta} \nabla d^{1/4}\big)$ の境界を導出する。
• 計算と通信の遅延をモデル化することでパイプライン並列性をシミュレートし、1イテレーションあたりの時間が $T(K + \nabla - 1)$ に比例するように設定する。ここで $K$ は勾配サンプル数を表す。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない凸関数に対して、パイプライン並列最適化の理論的収束限界は何か？
• RQ2 ランダム化スムージングは、パイプライン並列分散環境において非滑らか問題の収束を加速するために効果的に適用可能か？
• RQ3 計算グラフの深さは、パイプライン並列最適化における収束速度にどのように影響するか？
• RQ4 少サンプル学習や敵対的学習などの設定では、PPRSはGD や AGD よりも優れた性能を示すのか？

主な発見

• 非滑らかな凸関数に対して、PPRSは最適レートの $d^{1/4}$ 乗要因以内の収束レートを達成し、深さ依存の収束を顕著に改善する。
• PPRSの収束レートは深さ依存項において加速され、ネットワークの深さに対してほぼ線形のスピードアップを実現する。
• 敵対的攻撃実験では、$K=10$ または $K=100$ のサンプル数でPPRSはGD や AGD よりも速くかつ安定して収束するが、特に学習率を大きくした場合に顕著である。
• PPRSは $K=2$ かつ高い学習率（$10^{-3}$）では発散するが、$K=10$ を用いることで高い学習率（$10^{-3}$）でも収束するため、サンプル数の増加に伴い安定性が向上することが示された。
• GD と AGD は収束させるためにそれぞれ $10^{-5}$ と $10^{-7}$ の小さな学習率を必要とし、PPRSに比べて収束が遅い。
• 特にデータサイズが小さい場合に、$l_\infty$-制約付き敵対的攻撃のような極めて非滑らかな問題において、PPRSはGD や AGD を上回る収束速度を示す。