[論文レビュー] SignGuard: Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering.

Jian Xu, Shao‐Lun Huang+2 more|arXiv (Cornell University)|Sep 13, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 11

ひとこと要約

SignGuardは、勾配の符号、大きさ、類似性統計の共同分析を用いて悪意のある勾配を検出・フィルタリングする、Byzantine耐性を持つフェデレーテッドラーニングフレームワークを提案する。非IIDデータ下でも、画像分類およびテキスト分類タスクにおいて、先進的なモデル汚染攻撃に対して、既存の統計的防御を上回る性能を発揮する。

ABSTRACT

Gradient-based training in federated learning is known to be vulnerable to faulty/malicious worker nodes, which are often modeled as Byzantine clients. Previous work either makes use of auxiliary data at parameter server to verify the received gradients or leverages statistic-based methods to identify and remove malicious gradients from Byzantine clients. In this paper, we acknowledge that auxiliary data may not always be available in practice and focus on the statistic-based approach. However, recent work on model poisoning attacks have shown that well-crafted attacks can circumvent most of existing median- and distance-based statistical defense methods, making malicious gradients indistinguishable from honest ones. To tackle this challenge, we show that the element-wise sign of gradient vector can provide valuable insight in detecting model poisoning attacks. Based on our theoretical analysis of state-of-the-art attack, we propose a novel approach, extit{SignGuard}, to enable Byzantine-robust federated learning through collaborative malicious gradient filtering. More precisely, the received gradients are first processed to generate relevant magnitude, sign, and similarity statistics, which are then collaboratively utilized by multiple, parallel filters to eliminate malicious gradients before final aggregation. We further provide theoretical analysis of SignGuard by quantifying its convergence with appropriate choice of learning rate and under non-IID training data. Finally, extensive experiments of image and text classification tasks - including MNIST, Fashion-MNIST, CIFAR-10, and AG-News - are conducted together with recently proposed attacks and defense strategies. The numerical results demonstrate the effectiveness and superiority of our proposed approach.

研究の動機と目的

• トレーニング中に悪意のある勾配を注入するByzantineクライアントによるフェデレーテッドラーニングの脆弱性を解消すること。
• 洗練されたモデル汚染攻撃によって回避可能な、既存の統計的防御の限界を克服すること。
• 補助データに依存しない防御メカニズムの開発により、実世界への展開を現実可能にする。
• 内在的な勾配特性を活用することで、非IIDデータ分布下でも収束の安定性を確保すること。
• 適切な学習率設定下で、提案手法の収束保証を理論的に確立すること。

提案手法

• 受信した勾配から3つの主要統計量を抽出する：大きさ、要素ごとの符号、クライアント間のペアワイズ類似性。
• これらの統計量を共同で分析する複数の並列フィルタを導入し、悪意のある勾配を検出し分離する。
• 理論的分析に基づき、最先端の汚染攻撃における勾配の符号パターンを特徴量として活用する。
• 最終的なモデルアグリゲーションの前に、組み合わせた符号と大きさの統計量に基づいて外れ値を除去するフィルタリング機構を適用する。
• 適応的学習率制御を用いて、フィルタリング済みの勾配を標準的なフェデレーテッドアベレージングプロセスに統合する。
• 理論的分析により、適切な学習率選択下で非IIDデータ下でも収束が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配ベクトルの要素ごとの符号は、フェデレーテッドラーニングにおけるモデル汚染攻撃を検出する信頼できるシグナルとして機能するか？
• RQ2 符号、大きさ、類似性統計に基づく共同フィルタリングは、高度なByzantine攻撃に対してどれほど効果的か？
• RQ3 既存の統計的防御と比較して、SignGuardは非IIDデータ分布下でも収束性とモデル精度を維持できるか？
• RQ4 補助データやモデル仮定に依存せずに、SignGuardは悪意のある勾配を検出しフィルタリングできるか？
• RQ5 画像分類およびテキスト分類タスクにおいて、最近提案された攻撃および防御と比較して、SignGuardの耐性および性能はどの程度か？

主な発見

• 攻撃が中央値ベースおよび距離ベースの防御を回避するように設計されていても、SignGuardは悪意のある勾配を効果的に検出・フィルタリングできる。
• MNIST、Fashion-MNIST、CIFAR-10、AG-Newsの各データセットにおいて、さまざまな汚染攻撃シナリオ下で、ベースライン防御よりも高いテスト精度を達成する。
• 符号、大きさ、類似性統計を用いた共同フィルタリングは、単一統計量アプローチと比較して著しく高い耐性を実現する。
• 理論的分析により、適切な学習率選択下で非IIDデータ下でもSignGuardの収束が保証されることを確認した。
• 実験的結果から、最大30％のクライアントがByzantineであっても、SignGuardは高いモデル性能を維持することが示された。
• 多様なフェデレーテッドラーニングベンチマークにおいて、耐性および一般化性能の両面で、最先端の防御を上回った。