[論文レビュー] Robust Gradient Descent via Moment Encoding with LDPC Codes

Raj Kumar Maity, Ankit Singh Rawat+1 more|arXiv (Cornell University)|May 22, 2018

Stochastic Gradient Optimization Techniques参考文献 35被引用数 34

ひとこと要約

本稿では、低密度奇数チェック（LDPC）符号を用いてデータの2階モーメントを符号化することで、遅延するワーカー（straggler）の影響を軽減する、分散機械学習における新しいロバスト勾配降下法を提案する。反復的LDPC復号を用い、遅延するワーカーの数に応じて適応的に復号反復回数を調整することで、従来の手法よりも高速な収束と短い計算時間を達成し、確率的勾配降下の解釈に基づく理論的収束保証を有する。

ABSTRACT

This paper considers the problem of implementing large-scale gradient descent algorithms in a distributed computing setting in the presence of {\em straggling} processors. To mitigate the effect of the stragglers, it has been previously proposed to encode the data with an erasure-correcting code and decode at the master server at the end of the computation. We, instead, propose to encode the second-moment of the data with a low density parity-check (LDPC) code. The iterative decoding algorithms for LDPC codes have very low computational overhead and the number of decoding iterations can be made to automatically adjust with the number of stragglers in the system. We show that for a random model for stragglers, the proposed moment encoding based gradient descent method can be viewed as the stochastic gradient descent method. This allows us to obtain convergence guarantees for the proposed solution. Furthermore, the proposed moment encoding based method is shown to outperform the existing schemes in a real distributed computing setup.

研究の動機と目的

• 大規模な機械学習システムにおける遅延するワーカーによる分散勾配降下の性能劣化を解消すること。
• 変動するワーカー応答時間に対しても、低コストでスケーラブルな方法で収束を加速すること。
• 確率的勾配降下フレームワーク下で、提案手法の理論的収束保証を提供すること。
• 実際の分散コンピューティング環境において、従来のデータ符号化およびレプリケーションベースの手法を上回ること。
• ロバストネスを維持しながら、計算および通信のオーバーヘッドを最小限に抑えること。

提案手法

• 分散勾配降下における勾配計算のロバスト性を高めるために、学習データの2階モーメント（すなわち、共分散行列）を低密度奇数チェック（LDPC）符号で符号化する。
• 遅延するワーカー数に応じて復号反復回数を動的に調整できる、LDPC符号の反復的復号アルゴリズムを用いる。
• 符号化された2階モーメントを用いて勾配降下の更新式を定式化し、一部のワーカーが応答しない場合でも収束を可能にする。
• 得られたアルゴリズムを、遅延ワーカーが確率的に発生するモデル下で、確率的勾配降下の一形態と解釈することで、理論的収束解析を可能にする。
• MPI4Pyを用いてマサチューセッツ大学アムステッドのスワーム2（swarm2）で実装し、MDS符号化、レプリケーション、および符号化なしの手法と比較する。
• 実験では、(40,20)のLDPC符号と、サブサンプリングされたハダマード行列／ガウス行列を用いてデータ符号化を実施する。

実験結果

リサーチクエスチョン

• RQ1 LDPC符号を用いたモーメント符号化は、分散勾配降下における遅延ワーカーの影響を効果的に軽減できるか？
• RQ2 LDPC符号の適応的復号は、変動する遅延ワーカー数の下で収束速度とロバストネスにどのように影響を与えるか？
• RQ3 実際のシステム環境において、本手法はMDS符号化およびレプリケーション方式よりも優れた収束性能と短い計算時間を達成できるか？
• RQ4 どのような条件下で、モーメント符号化を有効な確率的勾配降下更新と解釈できるか？
• RQ5 実際の分散学習環境において、符号化の複雑さと収束改善のトレードオフはどのようなものか？

主な発見

• 提案されたLDPCベースのモーメント符号化方式は、全テスト設定においてMDS符号化、レプリケーション、および符号化なしの手法よりも少ない反復回数で収束した。
• m=2048、k=800または1000の最小二乗問題において、特に5または10人の遅延ワーカーが存在する状況で、目標精度に到達するまでのステップ数が顕著に減少した。
• m=1024、k=2000のアンダーツーデタームイングなスパース回復問題において、本手法はベースライン手法よりも高速な収束と短い合計計算時間を達成した。
• LDPC符号の反復的復号は遅延ワーカー数に自然に適応し、収束速度に影響を与えることなく復号のオーバーヘッドを低減した。
• 理論的解析により、本手法は確率的遅延ワーカーモデル下で確率的勾配降下と同等であることが示され、収束保証が可能となった。
• 41ノードの実クラスタ（40ワーカー、1マスタ）上での実験結果により、反復回数および合計計算時間の両面で、MDS符号化およびレプリケーション方式を上回ることが確認された。