[論文レビュー] Can You Really Backdoor Federated Learning?

Ziteng Sun, Peter Kairouz+2 more|arXiv (Cornell University)|Nov 18, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用数 368

ひとこと要約

本論文は連合学習におけるバックドア（ターゲット型）モデル更新 poisoning 攻撃を研究し、現実的な非IIDデータを用いたEMNIST での攻撃モデルを分析し、ノームクリッピングや弱い差分プライバシーといった防御を評価する。

ABSTRACT

The decentralized nature of federated learning makes detecting and defending against adversarial attacks a challenging task. This paper focuses on backdoor attacks in the federated learning setting, where the goal of the adversary is to reduce the performance of the model on targeted tasks while maintaining good performance on the main task. Unlike existing works, we allow non-malicious clients to have correctly labeled samples from the targeted tasks. We conduct a comprehensive study of backdoor attacks and defenses for the EMNIST dataset, a real-life, user-partitioned, and non-iid dataset. We observe that in the absence of defenses, the performance of the attack largely depends on the fraction of adversaries present and the "complexity'' of the targeted task. Moreover, we show that norm clipping and "weak'' differential privacy mitigate the attacks without hurting the overall performance. We have implemented the attacks and defenses in TensorFlow Federated (TFF), a TensorFlow framework for federated learning. In open-sourcing our code, our goal is to encourage researchers to contribute new attacks and defenses and evaluate them on standard federated datasets.

研究の動機と目的

• 非悪意的なターゲットタスクのサンプルを用いて、連合学習におけるバックドア攻撃を動機づけ、正式に定式化する。
• 攻撃の成功が敵対者の割合とターゲットタスクの複雑さにどのように依存するかを定量化する。
• 現実的な連合学習環境において、ノームクリッピングや弱い差分プライバシーなどの防御を評価する。

提案手法

• 敵対者からの強化更新を用いて、バックドーしたバージョンと置き換えるモデル更新 Poisoning 攻撃。
• 攻撃モデルには、侵害クライアントのランダムサンプリングと固定頻度の攻撃者が含まれる。
• 複数のターゲットクライアントにわたり、特定クラスを別のクラスに誤ラベル付けする（例：7 を 1 とする）ことでバックドアタスクを定義する。
• 防御機構にはノームベースのアップデートクリッピングとガウスノイズの追加（弱い DP）を含む。
• TensorFlow Federated での 5 層 CNN を用いた EMNIST で、バックドアタスク数と攻撃者割合を変えた実験。

実験結果

リサーチクエスチョン

• RQ1 現実的な EMNIST 分布の下で、連合学習におけるバックドア（ターゲット型）モデル更新 Poisoning 攻撃の有効性はどの程度か。
• RQ2 攻撃者の割合とバックドアタスクの複雑さは攻撃成功率にどう影響するか。
• RQ3 ノームクリッピングと弱い差分プライバシーは、メインタスクの性能を過度に損なうことなくバックドア攻撃を緩和できるか。
• RQ4 連合学習下でのバックドアタスク数がモデルをバックドア化する能力にどのような影響を与えるか。
• RQ5 ランダムサンプリングと固定頻度の攻撃モデルは効果の点でどう比較されるか。

主な発見

• バックドア攻撃の成功は主にシステム内の敵対者の割合に依存する。
• 攻撃は、クライアントの非現実的ではない割合が侵害されている場合にのみ有効である（例えば、1%未満では効果が低下する）。
• ノームクリッピングはアップデートノルムを制限することでバックドアの成功を大幅に減少させる。
• 少量のガウスノイズを加える（弱い DP）は、主タスクの性能への影響を限定的に抑えつつ、攻撃をさらに緩和する。
• バックドアタスクの数を増やすと、主タスクの精度を維持しつつ悪質なモデルを適合させることが難しくなる。
• 実験では固定頻度の攻撃がランダムサンプリングよりわずかに効果的だった。