[論文レビュー] SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification

Ashwinee Panda, Saeed Mahloujifar+3 more|arXiv (Cornell University)|Dec 12, 2021

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

SparseFed は、グローバルな top-k 勾配スパース化とデバイスレベルの勾配クリッピングを用いる、標的モデル汚染攻撃に対する新しいフェデレーテッドラーニング防御手法である。FEMNIST において攻撃成功度を 97% 以上低減しながら、未防御モデルと比較してテスト精度が 1% 以内に保たれ、多様なデータセットおよび攻撃タイプにおいて、耐性とスケーラビリティの面で先行研究を上回る性能を示している。

ABSTRACT

Federated learning is inherently vulnerable to model poisoning attacks because its decentralized nature allows attackers to participate with compromised devices. In model poisoning attacks, the attacker reduces the model's performance on targeted sub-tasks (e.g. classifying planes as birds) by uploading "poisoned" updates. In this report we introduce \algoname{}, a novel defense that uses global top-k update sparsification and device-level gradient clipping to mitigate model poisoning attacks. We propose a theoretical framework for analyzing the robustness of defenses against poisoning attacks, and provide robustness and convergence analysis of our algorithm. To validate its empirical efficacy we conduct an open-source evaluation at scale across multiple benchmark datasets for computer vision and federated learning.

研究の動機と目的

• クロスデバイスおよびクロスシロ設定におけるフェデレーテッドラーニングの標的モデル汚染攻撃に対する重大な脆弱性に対処すること。
• 非 i.i.d. データ、デバイスごとの単一参加、レピュテーションメカニズムの欠如といった現実的な制約下でも有効な訓練時防御を構築すること。
• 汚染によるモデルのずれを制限する公式な半径枠組みを用いて、証明可能な耐性保証を提供すること。
• コンピュータビジョンおよび NLP の両分野における複数のベンチマークデータセットを対象に、多様な攻撃シナリオ下で防御の実証的妥当性を検証すること。
• スパース化に基づく防御が、特に攻撃者が協調して行動する状況下で、既存のバイザンチン耐性手法を上回る耐性を達成できることを示すこと。

提案手法

• 本手法は、送信前に個々の更新の大きさを制限するデバイスレベルの勾配クリッピングを採用する。
• サーバー側ではグローバル勾配が計算され、その中から絶対値が最大の top-k 要素のみが保持され、スパースな更新ベクトルが形成される。
• このスパース化プロセスにより、大きさが小さいが、多数の方向とは一致しない可能性の高い悪意ある更新が自然にフィルタリングされる。
• 防御は訓練時におけるフェデレーテッド最適化パイプラインに統合されており、テスト時における変更を必要としない。
• フレームワークは、汚染されたモデルが健全なモデルからどれだけずれるかを形式的に制限する「証明可能半径」指標を用いる。
• 標準的な top-k スパース化と FetchSGD に基づくスパース化の2通りの実装が評価され、両者とも耐性と通信効率の向上を示した。

実験結果

リサーチクエスチョン

• RQ1 勾配スパース化とクリッピングを併用することで、フェデレーテッドラーニングにおける標的モデル汚染攻撃に対して、証明可能な耐性を達成できるか？
• RQ2 SparseFed はクロスデバイスおよびクロスシロ設定下で、既存の攻撃戦略および新たに導入された協調攻撃戦略に対して、どのように性能を発揮するか？
• RQ3 ベースライン防御（例：$β$-クリッピング や $β$-クリッピング＋モーメンタム）と比較して、スパース化はモデルずれの証明可能半径をどの程度低減するか？
• RQ4 SparseFed は、多様で非 i.i.d. なデータセットにおいて、攻撃成功度を顕著に低減しながらも、高いテスト精度を維持できるか？
• RQ5 協調して更新を送信する攻撃者が存在する状況下で、スパース化に基づく防御は、既存のバイザンチン耐性手法を上回る耐性を達成できるか？

主な発見

• FEMNIST において、数字 1 と 7 を標的とした攻撃では攻撃精度が 1.95% に低下し、4 と 9 を標的とした攻撃では 6.72% に低下した。これは、意味論的バックドアのバリエーションに対しても一貫した耐性を示している。
• FEMNIST データセットにおいて、SparseFed は未防御ベースラインと比較して攻撃成功度を 97% 以上低減し、先行防御を著しく上回った。
• CIFAR100 の設定では、同等のステルス閾値下で $β$-クリッピング防御よりも 5〜10倍の耐性向上が達成され、OIF は 0.05（$β$-クリッピングの 0.5 と比較）であった。
• すべての評価対象データセット（50,000〜800,000 例のデータ、600万〜4000万パラメータのモデルを含む）において、SparseFed は未防御モデルと比較してテスト精度を 1% 以内に保った。
• FetchSGD スパース化を用いた SparseFed は、同等の通信およびステルス制約下で、$β$-クリッピングを 5〜10倍上回る耐性を示し、パラトリア前線を達成した。
• 攻撃者が補助データセット（500 件）を用いた協調的 PGD 攻撃を実行しても、防御は依然として効果を示し、高精度の協調汚染攻撃に対しても耐性を示した。