[論文レビュー] Distributed Momentum for Byzantine-resilient Learning

El Mahdi El Mhamdi, Rachid Guerraoui+1 more|arXiv (Cornell University)|Feb 28, 2020

Privacy-Preserving Technologies in Data参考文献 35被引用数 15

ひとこと要約

この論文では、分散SGDにおけるByzantine耐性を向上させるために、作業者側で運動量を計算することを提案している。これは勾配推定の分散-ノルム比を低減することで、頑健な集約ルールの性能を強化する。実験では、サーバー側の運動量と比較して、Byzantine攻撃による精度低下を最大11倍まで低減している。

ABSTRACT

Momentum is a variant of gradient descent that has been proposed for its benefits on convergence. In a distributed setting, momentum can be implemented either at the server or the worker side. When the aggregation rule used by the server is linear, commutativity with addition makes both deployments equivalent. Robustness and privacy are however among motivations to abandon linear aggregation rules. In this work, we demonstrate the benefits on robustness of using momentum at the worker side. We first prove that computing momentum at the workers reduces the variance-norm ratio of the gradient estimation at the server, strengthening Byzantine resilient aggregation rules. We then provide an extensive experimental demonstration of the robustness effect of worker-side momentum on distributed SGD.

研究の動機と目的

• 一部の作業者がByzantine（悪意あるまたは故障した）状態にある場合に、分散機械学習における頑健性を維持する課題に対処すること。
• 現在のByzantine耐性のある集約ルールが、誠実な勾配における分散-ノルム比の有界性に依存しているという制限を克服すること。
• 作業者側での運動量計算により、分散の勾配品質を向上させ、サーバーでの分散-ノルム比を低減すること。
• 標準的な頑健な集約ルール（例：Krum や Median）に対して、作業者側の運動量がその有効性を高めることを示すこと。

提案手法

• 作業者レベルで運動量を適用する。これは、指数的減衰係数μを用いて過去の勾配の累積和を維持することで実現される。
• 作業者での運動量更新は、m_t = μ * m_{t-1} + (1 - μ) * g_t で定義される。ここでg_tは現在の勾配である。
• サーバーでの頑健な集約ルールに、生の勾配の代わりにこの運動量計算済み勾配を入力する。
• 理論的分析により、作業者側の運動量が誠実な勾配の分散-ノルム比を低減することが示され、これは中央値ベースの集約ルールの鍵要因である。
• 同期的および非同期的SGDの両設定と互換性があり、非同期設定におけるフィルタリング手法とも可換である。
• 計算はサーバー側の運動量と同等の追加計算負荷であり、通信量の増加なしに作業者に移譲されているため、追加の計算コストは発生しない。

実験結果

リサーチクエスチョン

• RQ1 作業者側での運動量計算が、Byzantine耐性のある分散学習における勾配推定の分散-ノルム比を低減できるか？
• RQ2 作業者側の運動量が、Krum や Median といった標準的なByzantine耐性集約ルールの頑健性を向上させるか？
• RQ3 Byzantine攻撃下での収束性と精度に関して、作業者側の運動量はサーバー側の運動量と比べてどのように異なるか？
• RQ4 作業者側の運動量が分散-ノルム比を低減できない条件は何か、そしてその対策は何か？
• RQ5 提案手法は、Byzantineサーバーを含む非同期または完全に分散化された設定へと拡張可能か？

主な発見

• 作業者側の運動量は、誠実な勾配推定の分散-ノルム比を低減し、これによりByzantine耐性集約ルールの頑健性が強化される。
• 実験では、作業者側の運動量を用いることで、サーバー側の運動量と比較してトップ1の交差精度が5%から50%向上する。
• Byzantine攻撃による精度低下は最大11倍まで低減され、特にMedian集約ルールを用いたCIFAR-10での実験で顕著に現れた。
• 訓練が進むにつれて分散-ノルム比が低下し、特に学習率を低下させた場合に顕著になる。これは理論的予測を裏付けている。
• 作業者側の運動量は、非線形な集約ルールに対しても有効である。一方、サーバー側の運動量は線形性に依存するため、そのような状況では有効でない。
• 本手法は、MNIST や CIFAR-10 といった異なるデータセット、およびBaruchら（2019）、Xie ら（2019）の攻撃タイプなど多様な状況で有効であることが示され、広範な適用可能性を示している。