[論文レビュー] Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums

Sadegh Farhadkhani, Rachid Guerraoui+3 more|arXiv (Cornell University)|May 24, 2022

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

本稿では、サーバーでレジリエント平均化を、ワーカーで分散モーメンタムを用いることで、最適なバチスタイン耐性を達成する統一フレームワークRESAM（レジリエント・アveraging・オブ・モーメンタム）を提案する。標準的な仮定の下で有限時間収束を証明し、バチスタインワーカーが半数未満の場合に、レジリエント係数$\lambda$を持つ任意の集約ルールが収束することを示し、非標準的仮定を必要とせずに既存手法の直接比較を可能にする。

ABSTRACT

Byzantine resilience emerged as a prominent topic within the distributed machine learning community. Essentially, the goal is to enhance distributed optimization algorithms, such as distributed SGD, in a way that guarantees convergence despite the presence of some misbehaving (a.k.a., {\em Byzantine}) workers. Although a myriad of techniques addressing the problem have been proposed, the field arguably rests on fragile foundations. These techniques are hard to prove correct and rely on assumptions that are (a) quite unrealistic, i.e., often violated in practice, and (b) heterogeneous, i.e., making it difficult to compare approaches. We present \emph{RESAM (RESilient Averaging of Momentums)}, a unified framework that makes it simple to establish optimal Byzantine resilience, relying only on standard machine learning assumptions. Our framework is mainly composed of two operators: \emph{resilient averaging} at the server and \emph{distributed momentum} at the workers. We prove a general theorem stating the convergence of distributed SGD under RESAM. Interestingly, demonstrating and comparing the convergence of many existing techniques become direct corollaries of our theorem, without resorting to stringent assumptions. We also present an empirical evaluation of the practical relevance of RESAM.

研究の動機と目的

• 現存するバチスタイン耐性機械学習手法の脆弱性、すなわち現実的でない、または非一様な仮定に依存する問題を解決する。
• 最小限で標準的な仮定に限定した、分散SGDにおけるバチスタイン耐性の統一的理論的枠組みを確立する。
• レジリエント平均化と分散モーメンタムを併用することで、最大半数のワーカーがバチスタインであっても最適な収束を達成できることを示す。
• 複数の既存集約ルールの分析を統合する一般収束定理を提示する。
• 共通のレジリエント係数$\lambda$を用いることで、既存のバチスタイン耐性手法の公平かつ理論的根拠に基づいた比較を可能にする。

提案手法

• 集約ルールのレジリエント性を、レジリエント係数$\lambda$で定量化する新しいレジリエント平均化の基準を導入する。
• ワーカーが生の勾配ではなく勾配モーメンタムをサーバーに送信する分散モーメンタムを提案する。
• 非i.i.d.および非標準的勾配挙動の課題を克服するため、新規のリャプノフ関数を構築する。
• 誠実なワーカーのモーメンタムの収束を用いて、レジリエント平均化下でのバチスタイン影響を緩和する。
• 標準的仮定（不偏勾配で分散が有界、1階Lipschitz滑らかさ）の下で、RESAMにおける分散SGDの一般収束定理を定式化する。
• Krum*、メディアン、CWTMなどの既存手法の耐性を、非標準的仮定を必要とせずに、主定理の系として証明する。

実験結果

リサーチクエスチョン

• RQ1 非標準的または現実的でない仮定に依存せずに、分散SGDにおけるバチスタイン耐性を証明する統一的フレームワークを開発可能か？
• RQ2 集約ルールのレジリエント係数$\lambda$は、収束速度および耐性にどのように影響するか？
• RQ3 敵対的ワーカーが存在する状況で、分散モーメンタムは収束性およびバチスタイン耐性をどの程度向上させるか？
• RQ4 既存のバチスタイン耐性集約ルールは、RESAMの同一理論的基盤に基づいて正式に耐性があると証明可能か？
• RQ5 モーメンタムハイパーパramータ$\beta$は、さまざまな攻撃下でのレジリエントおよび非レジリエント集約ルールのパフォーマンスにどのような影響を及ぼすか？

主な発見

• RESAMは、標準的仮定（不偏勾配で分散が有界、1階Lipschitz滑らかさ）の下で、分散SGDの有限時間収束を証明した。
• このフレームワークにより、バチスタインワーカーが総数の半数未満の場合に、レジリエント係数$\lambda$を持つ任意の集約ルールが収束することを示し、最適な閾値に到達した。
• Krum*、メディアン、CWTM、GMといった既存手法は、一般収束定理の直接的系としてバチスタイン耐性であることが示され、サブガウス型または有界勾配仮定を必要としない。
• 実験結果から、レジリエント平均化とモーメンタムの併用が、すべての攻撃タイプ（帝国型、小規模型、符号反転型、ラベル反転型）において顕著にパフォーマンスを向上させることを示した。特に$n=15$人中$f=5$人のバチスタインワーカーの場合に顕著であった。
• 非耐性ルール（CC、CGE）のパフォーマンスはモーメンタムに極めて敏感である。$\beta=0.9$では向上するが、$\beta=0.99$や$\beta=0.999$では劣化するため、一般にモーメンタムが有益であるとは限らない。
• 極端な状況（$n=15$人中$f=7$人のバチスタインワーカー）では、高水準のモーメンタム値（$\beta=0.999$）が必要とされ、敵対的状況下でのモーメンタムの重要性を強調している。