[論文レビュー] Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated Learning

Yuxin Wen, Jonas Geiping+5 more|arXiv (Cornell University)|Oct 17, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本論文は、悪意あるクライアントの将来の更新を予測することで、悪意あるモデル更新の持続性を高める、フェデレーテッドラーニングにおける新しいバックドア攻撃を提案する。将来のフェデレーテッドアベレージステップをシミュレートして誤差逆伝播を行うことで、攻撃機会が限られている状況でもバックドアの有効性を維持でき、訓練後にはベースライン手法が20%に低下するのに対し、60%のバックドア正確度を達成する。

ABSTRACT

Federated learning is particularly susceptible to model poisoning and backdoor attacks because individual users have direct control over the training data and model updates. At the same time, the attack power of an individual user is limited because their updates are quickly drowned out by those of many other users. Existing attacks do not account for future behaviors of other users, and thus require many sequential updates and their effects are quickly erased. We propose an attack that anticipates and accounts for the entire federated learning pipeline, including behaviors of other clients, and ensures that backdoors are effective quickly and persist even after multiple rounds of community updates. We show that this new attack is effective in realistic scenarios where the attacker only contributes to a small fraction of randomly sampled rounds and demonstrate this attack on image classification, next-word prediction, and sentiment analysis.

研究の動機と目的

• フェデレーテッドラーニングにおける既存のバックドア攻撃が、攻撃機会が稀な現実的状況で失敗するという限界を解決すること。
• フェデレーテッドアベレージにおいて、個々の悪意ある更新がすぐに善い更新によって上書きされてしまうという課題を克服すること。
• 善いユーザーの更新の下流への影響をモデル化することで、長期的なバックドアの持続性を保証する攻撃戦略を開発すること。
• 非IIDかつ通信制約のある現実的なフェデレーテッドラーニング環境において、攻撃の有効性を示すこと。
• 画像分類、次単語予測、センチメント分析を含む多様なタスクにおける評価を実施すること。

提案手法

• 攻撃は『Anticipate』と名付けられ、将来kラウンドにおける善いクライアントの挙動をシミュレートすることで、将来のフェデレーテッドアベレージステップをモデル化する。
• 異なる可能なフェデレーテッドアベレージ集約プロセスのシミュレーションを用いて、将来のモデル更新を通じて勾配を逆伝播する。
• 攻撃者は、k回のシミュレートされた将来のラウンド後にバックドア正確度を最大化するように悪意ある更新を最適化し、その後の善い更新に対しても耐性を確保する。
• ノルムバウンディングという防御を組み込み、個々の更新がクリッピングされる現実的な制約下でも有効であることを保証する。
• 3つの効率的な変種を導入する：(A) 最終ステップでのみ損失を計算、(B) 全損失を用いたランダムステップ選択、(C) 計算を減らすためにランダムに選択されたステップでのみ損失を計算。
• 攻撃は悪意ある更新上で勾配ベース最適化を用いて実装され、長期的なバックドア成功を最大化する目的関数が設計されている。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が訓練ラウンドのわずかな割合にしか寄与しない場合、フェデレーテッドラーニングにおけるバックドア攻撃は有効に保たれるか？
• RQ2 将来の善い更新を予測することで、フェデレーテッドモデルにおけるバックドアトレーニングの持続性はどのように向上するか？
• RQ3 バックドア正確度と持続性を最大化するための最適な将来ラウンド数は何か？
• RQ4 攻撃の効率的変種は、計算コストを削減しながらも高いパフォーマンスを維持できるか？
• RQ5 ノルムバウンディング防御下でも攻撃は有効に保たれるか？これはフェデレーテッドラーニングシステムで一般的な緩和策である。

主な発見

• 『Anticipate』攻撃は、20,000回の寄与のうち100回しか悪意ある更新を行わない状況でも、500ラウンド以内に100%のバックドア正確度を達成し、ベースラインよりも著しく高速である。
• 攻撃ウィンドウが終了した後も、『Anticipate』法は60%のバックドア正確度を維持するが、ベースライン手法はわずか20%に低下する。
• 最適な予測長は9ステップであり、この時点で最終的なバックドア正確度が最大に達する。これより長い予測は持続性の向上に寄与しない。
• 特に変種C（ランダムに選択された将来ステップでのみ損失を計算）は、最適化時間を削減しながらも、ベースラインを上回るパフォーマンスを発揮する。
• タイトなノルムバウンディング下でも攻撃は有効であるため、この防御のみでは高度で前向きな攻撃に対して十分ではないことが示された。
• 攻撃はノルムバウンディング防御を特に回避するように設計されており、Krum、Multi-krum、または中央値集約などの代替集約法によって緩和可能である。