[論文レビュー] Distributed Stochastic Gradient Descent Using LDGM Codes

Shunsuke Horii, Takahiro Yoshida+2 more|arXiv (Cornell University)|Jan 15, 2019

Stochastic Gradient Optimization Techniques参考文献 11被引用数 8

ひとこと要約

本稿では、低密度生成行列（LDGM）符号を用いた分散確率的勾配降下法（SGD）スキームを提案し、マスターワーカーアーキテクチャにおける遅延ノード（straggler）の影響を軽減する。反復的ピーリング復号を活用することで、低コストな計算で不偏かつ高品質な勾配推定値を回復可能にし、特に遅延ノードの発生確率が低い状況下で、従来の勾配符号化法を用いた完全勾配降下法よりも高速に収束する。

ABSTRACT

We consider a distributed learning problem in which the computation is carried out on a system consisting of a master node and multiple worker nodes. In such systems, the existence of slow-running machines called stragglers will cause a significant decrease in performance. Recently, coding theoretic framework, which is named Gradient Coding (GC), for mitigating stragglers in distributed learning has been established by Tandon et al. Most studies on GC are aiming at recovering the gradient information completely assuming that the Gradient Descent (GD) algorithm is used as a learning algorithm. On the other hand, if the Stochastic Gradient Descent (SGD) algorithm is used, it is not necessary to completely recover the gradient information, and its unbiased estimator is sufficient for the learning. In this paper, we propose a distributed SGD scheme using Low-Density Generator Matrix (LDGM) codes. In the proposed system, it may take longer time than existing GC methods to recover the gradient information completely, however, it enables the master node to obtain a high-quality unbiased estimator of the gradient at low computational cost and it leads to overall performance improvement.

研究の動機と目的

• マスターワーカーアーキテクチャで一般的に見られる、遅れを示すワーカーノードによる分散学習の性能劣化を解消すること。
• 従来の勾配符号化（GC）手法が完全な勾配回復を必要としているという制限を克服すること。SGDでは完全な勾配回復は必ずしも必要ではない。
• SGDに適した高速かつ正確な勾配推定を可能にする低複雑度の符号化スキームを開発し、収束速度を向上させること。
• 二乗損失関数に限らない広範な機械学習応用にまで拡張可能な符号理論的アプローチを構築すること。
• 分散SGDにおける復号遅延と近似誤差のトレードオフを最適化すること。

提案手法

• 各ワーカーにデータバッチをLDGM符号で符号化し、スパースな生成行列に基づいて部分勾配の線形結合を計算させる。
• マスターノードでピーリングに基づく反復的復号アルゴリズムを用い、ワーカーの応答のサブセットから完全勾配の不偏推定値を回復する。
• 符号構造を設計して次数1の生成ノードを優遇することで、遅延ノードの影響下でも復号効率と収束性を向上させる。
• 復号された勾配推定値をSGD更新式に統合し、減少する学習率 $\eta^{(t)} = \eta^{(0)}/t$ を用いる。
• 復号プロセスをモデル化し、さまざまな遅延ノード発生確率下での回復勾配割合を予測するために密度発展（DE）解析を適用する。
• 復号を開始するまでの応答数のしきい値を設定することで、待機時間と復号品質のトレードオフを調整する。

実験結果

リサーチクエスチョン

• RQ1 遅延ノードが発生する状況下で、LDGM符号化分散SGDは、符号化されていないSGDや従来の勾配符号化法に比べ、収束速度で優れているか？
• RQ2 符号構造の選択、特に次数1の生成ノードの数が、復号性能と学習収束に与える影響は何か？
• RQ3 反復的復号を用いたLDGM符号化により、近似誤差をどれほど低減しつつ、低コストな計算を維持できるか？
• RQ4 損失関数が二乗関数でない場合に、本手法は完全な勾配回復を必要とする従来のGC手法と比べてどのように性能を発揮するか？
• RQ5 本手法における復号時間と近似精度の最適なトレードオフは何か？

主な発見

• 遅延ノード発生確率が低い場合（例：μ = 1.0 または 2.0）、LDGM符号化SGDは符号化なしSGDおよびRS符号化GDよりも高速に収束し、目的関数の低減において最良の性能を示す。
• 遅延ノード発生確率が高い場合（例：μ = 0.5）、復号性能が悪いため、符号化なしSGDがLDGM符号化SGDを上回る。これは、符号化が遅延ノードがまれな場合に最も有効であることを示している。
• 本手法は、完全な勾配回復を行わずとも、低コストな復号で高品質な近似を実現するため、従来のGCを用いた完全勾配降下法よりも収束速度が速い。
• 次数1の生成ノード数を増やすことで、復号アルゴリズムの収束が信頼性を持って実現され、遅延ノードの影響下でも回復性能が向上する。
• RS符号化GDは、期待される待機時間が長く（例：μ = 0.5 の場合 12.112）、完全な勾配回復を実現しているものの、収束速度においてLDGM符号化SGDに劣る。
• 低複雑度の復号と不偏勾配推定値の組み合わせにより、本手法は大規模かつリアルタイムな分散学習システムに適した高速な学習を実現する。