[論文レビュー] Learning from History for Byzantine Robust Optimization

Sai Praneeth Karimireddy, Lie He+1 more|arXiv (Cornell University)|Dec 18, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用数 24

ひとこと要約

本稿では、勾配ノイズ分布への感受性によって既存のロバスト集約ルールに根本的な欠陥が生じる問題を解消するため、反復的中心クリッピングとワーカーのモーメンタムを導入することで、Byzantineに頑健な最適化フレームワークを提案する。本稿は、強い分布仮定やハイパーパrameterチューニングを必要とせず、標準的な確率的最適化におけるByzantine攻撃下でも正当に収束する初めての手法を証明した。

ABSTRACT

Byzantine robustness has received significant attention recently given its importance for distributed and federated learning. In spite of this, we identify severe flaws in existing algorithms even when the data across the participants is identically distributed. First, we show realistic examples where current state of the art robust aggregation rules fail to converge even in the absence of any Byzantine attackers. Secondly, we prove that even if the aggregation rules may succeed in limiting the influence of the attackers in a single round, the attackers can couple their attacks across time eventually leading to divergence. To address these issues, we present two surprisingly simple strategies: a new robust iterative clipping procedure, and incorporating worker momentum to overcome time-coupled attacks. This is the first provably robust method for the standard stochastic optimization setting. Our code is open sourced at https://github.com/epfml/byzantine-robust-optimizer.

研究の動機と目的

• 勾配ノイズ分布への感受性により、悪意あるワーカーが存在しない状況でも収束しない既存のByzantineロバスト集約ルールに内在する根本的欠陥を特定・解消すること。
• 履歴に依存しない集約ルールは、時間的に結合された攻撃に対して本質的に脆弱であり、ラウンドを経て累積されるため発散することを証明すること。
• スケーラブルで、ローカルSGD やセキュア集約などの既存技術と互換性がある、中心クリッピングと呼ばれる新しいロバスト集約ルールを設計すること。
• ワーカーのモーメンタムが、時間的に結合された攻撃に対して効果的に働き、分散を低減し、時間経過とともに悪意ある摂動を露呈させることを示すこと。
• モーメンタムに基づく分散低減をByzantineロバスト集約器と統合し、非凸最適化において最適な収束レートを達成すること。

提案手法

• 真の勾配の動的推定値の周囲で勾配を適応的にクリッピングすることで、ノイズ分布への感受性を低減する反復的中心クリッピングに基づく新しいロバスト集約ルールを提案する。
• 時間経過にわたる更新を平均化することで、誠実なワーカーの分散を低減し、Byzantineワーカーの時間的に結合された摂動を増幅する防御機構として、ワーカーのモーメンタムを導入する。
• 中心クリッピングとモーメンタムを組み合わせることで、L-スムーズ性と有界な勾配分散という標準仮定のもとで正当な収束を達成する。
• 非同期更新やセキュア集約などの既存の分散学習技術と互換性を保つように設計され、実世界への導入を可能にする。
• 1ラウンドあたりO(n)の計算と通信量で実装可能であり、大規模システムにおいて実用的である。
• MNISTおよびCIFAR-10を用いた実験により、ガウス分布や適応的攻撃に対するロバストネスを検証し、Safeguard (Allen-Zhu et al., 2021) と比較した。

実験結果

リサーチクエスチョン

• RQ1 既存のロバスト集約ルールは、勾配ノイズ分布への感受性により、Byzantine攻撃者が存在しない状況でも収束しないことがあるか？
• RQ2 履歴に依存しないロバスト最適化アルゴリズムにおいて、時間的に結合された攻撃が収束不能を引き起こすような攻撃を構築可能か？
• RQ3 反復的中心クリッピングは、中央値ベースやトリムド平均ベースの集約器と比較して、スケーラブルかつ正当にロバストな代替手段を提供可能か？
• RQ4 ワーカーのモーメンタムは、時間経過にわたる一貫した摂動を露呈させることで、時間的に結合された攻撃に対して効果的に防御可能か？
• RQ5 モーメンタムに基づく分散低減とByzantineロバスト集約を統合することで、非凸設定において最適な収束レートを達成可能か？

主な発見

• 本稿では、履歴情報を無視する任意の集約ルールが、時間的に結合された攻撃に対して正当に脆弱であることを証明した。この攻撃はラウンドを経て累積され、個々のラウンドでは安全に見えるにもかかわらず、発散を引き起こす。
• 中心クリッピング（CC）は、標準偏差10^8のガウスノイズのような大規模な摂動に対しても効果的に防御し、NaNを防ぎ、他の手法が失敗する状況でも収束を保証した。
• 実験では、CCはSafeguard (Allen-Zhu et al., 2021) よりも優れた収束性と精度を達成した。特に適応的攻撃下では、τ0 や τ1 といったパラメータのチューニングを一切必要としなかった。
• CCとモーメンタムの組み合わせにより、標準仮定のもとで、静的点への収束が保証され、非凸最適化における最適レートが達成された。
• 実験結果から、CCはローカルSGDと互換性があり、攻撃者が存在しない状況でも、ローカルステップ数を増やすことでMNISTにおける収束性と精度が向上した。
• 本手法は現実的条件下でもロバストである：勾配がほとんど確実に有界であるという仮定を必要とせず、ガウス分布のような一般的なノイズ分布を含む環境でも動作した。