[論文レビュー] Byzantine Stochastic Gradient Descent

Dan Alistarh, Zeyuan Allen-Zhu+1 more|arXiv (Cornell University)|Mar 23, 2018

Stochastic Gradient Optimization Techniques参考文献 27被引用数 104

ひとこと要約

この論文は分散確率的最適化のための Byzantine-robust SGD 手法を開発し、Byzantineワーカーの一部しかいない状況でほぼ最適なサンプル時間の複雑さを達成し、形式的な下界を示す。α < 1/2 の Byzantineマシンを許容し、非 Byzantine の性能と加法的な α 依存項まで一致するアルゴリズムを提供する。

ABSTRACT

This paper studies the problem of distributed stochastic optimization in an adversarial setting where, out of the $m$ machines which allegedly compute stochastic gradients every iteration, an $α$-fraction are Byzantine, and can behave arbitrarily and adversarially. Our main result is a variant of stochastic gradient descent (SGD) which finds $\varepsilon$-approximate minimizers of convex functions in $T = ilde{O}\big( \frac{1}{\varepsilon^2 m} + \frac{α^2}{\varepsilon^2} \big)$ iterations. In contrast, traditional mini-batch SGD needs $T = O\big( \frac{1}{\varepsilon^2 m} \big)$ iterations, but cannot tolerate Byzantine failures. Further, we provide a lower bound showing that, up to logarithmic factors, our algorithm is information-theoretically optimal both in terms of sampling complexity and time complexity.

研究の動機と目的

• いくつかのワーカーがByzantine（敵対的）に振る舞う可能性がある場合の堅牢な分散最適化を動機づける。
• 複数のワーカーからの確率勾配を用い、Byzantine故障を許容しつつ凸（または強凸）目的関数を最小化する。
• Byzantineワーカーが存在する状況で、情報理論的に最適なサンプルおよび時間の複雑さを対数因子まで達成する。
• Byzantine設定においてスケーラビリティと各反復の低通信を保証する。

提案手法

• ByzantineSGD を提案する。各ワーカーに対して 2 つの推定系列（A_i と B_i）を維持する堅牢な集約戦略で、実行中に Byzantine マシンを検出して排除する。
• 中位数（Amed、Bmed、∇med）を用いて、実行を再開することなく各反復で良い機械の部分集合を識別する。
• 同定された良い集合からの平均勾配を用いて反復を更新し、Byzantine の影響を緩和する。
• Byzantine 労働者によって生じるバイアスと分散を制限するための形式的集中補題（Event A、Event B、Event C）を提供する。
• 非強凸および強凸目的の収束保証を導出し、滑らかでも滑らかでなくても適用する。
• エポックベースの拡張（強凸性における ByzantineSGD）を提供し、エポック数を対数で抑えて ε-最適性を達成するように ByzantineSGD を繰り返す。

実験結果

リサーチクエスチョン

• RQ1 ワーカーの一部が Byzantine であるとき、ε近似最適点を達成するには何回の反復とどれだけのサンプルが必要か？
• RQ2 至近最適なサンプルと時間の複雑さを維持しつつ、Byzantine ワーカーに耐える SGD 風アルゴリズムを設計できるか？
• RQ3 敵対的挙動がある中で良いワーカーを信頼性高く識別するための集中ツールと堅牢な集約スキームは何か？
• RQ4 滑らかな場合と非滑らかな場合、凸と強凸の目的関数でロバストネス保証はどう異なるか？

主な発見

• ByzantineSGD は滑らかな凸目的関数に対して T = e^{O(1/ε^2m) + α^2/ε^2} 回の反復で ε-近似最適点を達成し、σ-強凸目的関数には T = e^{O(1/σ + 1/(σεm) + α^2/σε)}。
• 対応する情報理論的下界が存在し、α依存項 α^2/ε^2（または α^2/(σε)）が必要であることを示している。
• 加法的な α 依存項は避けられず、残りの項は非 Byzantine SGD に定数まで一致し、α関連の制約まで並列スピードアップを維持する。
• Byzantine の割合 α < 1/2 を支持し、各反復で各ワーカーから1つの勾配を要求するだけで通信効率を維持する。
• 先行研究（ например 座標ごとの中位法など）と比べて、ByzantineSGD は特に高次元でサンプルと時間のスケーリングが改善され、確率的勾配計算の回数が少ない。
• 強凸目的には、エポックベースの変種が収束を T = e^{O(L/σ) + V^2/(mσε) + α^2V^2/σε} 回の反復で達成され、標準 GD の速度と Byzantine ロバスト性に整合する。