[論文レビュー] BARFED: Byzantine Attack-Resistant Federated Averaging Based on Outlier Elimination

Ece Isik-Polat, Görkem Polat+1 more|arXiv (Cornell University)|Nov 8, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用数 4

ひとこと要約

BARFED は、グローバルモデルからの距離に基づいて外れ層を検出することで、悪意あるモデル更新を特定・除外するバシリンスティック耐性を持つフェデレーテッドラーニング防御手法である。データおよびモデル汚染攻撃に対して強い耐性を示すが、データ分布、更新類似性、悪意ある参加者比率に関する仮定を必要とせず、包括的な実験において先行手法を上回る性能を発揮する。

ABSTRACT

In federated learning, each participant trains its local model with its own data and a global model is formed at a trusted server by aggregating model updates coming from these participants. Since the server has no effect and visibility on the training procedure of the participants to ensure privacy, the global model becomes vulnerable to attacks such as data poisoning and model poisoning. Although many defense algorithms have recently been proposed to address these attacks, they often make strong assumptions that do not agree with the nature of federated learning, such as Non-IID datasets. Moreover, they mostly lack comprehensive experimental analyses. In this work, we propose a defense algorithm called BARFED that does not make any assumptions about data distribution, update similarity of participants, or the ratio of the malicious participants. BARFED mainly considers the outlier status of participant updates for each layer of the model architecture based on the distance to the global model. Hence, the participants that do not have any outlier layer are involved in model aggregation. We perform extensive experiments on many grounds and show that the proposed approach provides a robust defense against different attacks.

研究の動機と目的

• クライアントのトレーニングプロセスにアクセスできないため、フェデレーテッドラーニングがデータおよびモデル汚染攻撃に対して脆弱であるという問題を解決すること。
• データ分布、更新類似性、悪意ある参加者比率に関する強い仮定に依存する既存の防御の限界を克服すること。
• 非IIDデータや変動する攻撃比率を含む多様なフェデレーテッドラーニング環境においても耐性を持つ防御メカニズムを開発すること。
• クライントのデータやトレーニング詳細にアクセスしないことで、プライバシー保護型のアグリゲーションを確保すること。

提案手法

• 各モデルレイヤーについて、BARFED は各クライアントのモデル更新と現在のグローバルモデルとの距離を計算し、外れ値を検出する。
• 事前に定義された距離閾値に基づき、あるレイヤーで外れ値行動を示す場合、そのクライアントは悪意ある可能性があるとマークされる。
• 全レイヤーで外れ値でない更新であるクライアントの更新のみが、グローバルモデルのアグリゲーションに含まれる。
• 各レイヤーごとに独立して動作するため、データや更新類似性に関する仮定を必要とせず、悪意ある更新の細粒度検出が可能である。
• フェデレーテッドトレーニング中に繰り返し適用され、グローバルモデルの変化に適応する。
• 外れ値検出はモデル重みの差異に基づくのみであり、生データや勾配にアクセスする必要がなく、クライアントのプライバシーを保持する。

実験結果

リサーチクエスチョン

• RQ1 データ分布やクライアント更新類似性に関する仮定に依存せずに、フェデレーテッドラーニングにおける悪意あるモデル更新を効果的に検出し除外できる防御メカニズムは存在するか？
• RQ2 異なる非IIDデータ設定下で、悪意ある参加者比率が変化する状況下でも、BARFED はどのように性能を発揮するか？
• RQ3 レイヤー単位の外れ値検出は、グローバルまたはクライアントレベルのアグリゲーション戦略と比較して、より高い耐性を実現するか？
• RQ4 BARFED は、多様な汚染攻撃下でも高いモデル精度を維持できるか。また、プライバシーやスケーラビリティを損なわないか？

主な発見

• BARFED は、データ分布やクライアント行動に関する仮定を必要とせず、複数のデータセットおよび攻撃タイプ（データ汚染およびモデル汚染）に対して強固な性能を発揮する。
• わずかに少数のクライアントが侵害されても、外れ値レイヤーを特定することで悪意ある更新を効果的に除外する。
• 実験では、さまざまな攻撃比率や非IIDデータ分割下でも BARFED は高いテスト精度を維持しており、多数のベンチマークで既存の防御を上回る。
• ラベルフリップ攻撃およびバックドア攻撃の両方に対して耐性を示し、攻撃ベクトルにわたる強力な一般化性能を示している。
• レイヤー単位の外れ値検出に焦点を当てることで、更新が類似しない健全なクライアントによる誤検出を回避し、アグリゲーションの信頼性が向上する。
• 計算効率が高く、標準的なフェデレーテッドアベレージと互換性があり、既存の FL パイプラインへのシームレスな統合が可能である。