[論文レビュー] Mitigating Sybil Attacks on Differential Privacy based Federated Learning

Yupeng Jiang, Yong Li+2 more|arXiv (Cornell University)|Oct 20, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用数 6

ひとこと要約

本稿では、差分プライバシーに基づくフェデレーテッドラーニングに対する最初のシビル攻撃を提案する。悪意あるクライアントが、プライバシー予算εに紐づけたノイズレベルを調整することで、局所モデルの更新を操作し、グローバルモデルの収束を劣化させる。本稿では、高損失のクライアント更新を検出・フィルタリングする防御を導入し、攻撃下でも収束性と精度を効果的に回復する。

ABSTRACT

In federated learning, machine learning and deep learning models are trained globally on distributed devices. The state-of-the-art privacy-preserving technique in the context of federated learning is user-level differential privacy. However, such a mechanism is vulnerable to some specific model poisoning attacks such as Sybil attacks. A malicious adversary could create multiple fake clients or collude compromised devices in Sybil attacks to mount direct model updates manipulation. Recent works on novel defense against model poisoning attacks are difficult to detect Sybil attacks when differential privacy is utilized, as it masks clients' model updates with perturbation. In this work, we implement the first Sybil attacks on differential privacy based federated learning architectures and show their impacts on model convergence. We randomly compromise some clients by manipulating different noise levels reflected by the local privacy budget epsilon of differential privacy on the local model updates of these Sybil clients such that the global model convergence rates decrease or even leads to divergence. We apply our attacks to two recent aggregation defense mechanisms, called Krum and Trimmed Mean. Our evaluation results on the MNIST and CIFAR-10 datasets show that our attacks effectively slow down the convergence of the global models. We then propose a method to keep monitoring the average loss of all participants in each round for convergence anomaly detection and defend our Sybil attacks based on the prediction cost reported from each client. Our empirical study demonstrates that our defense approach effectively mitigates the impact of our Sybil attacks on model convergence.

研究の動機と目的

• 差分プライバシーに基づくフェデレーテッドラーニングのシビル攻撃に対する脆弱性を調査すること。
• 悪意あるクライアントが、プライバシー予算εに紐づけたノイズレベルを用いて局所更新を操作し、グローバルモデルの収束を劣化させることを実証すること。
• 高損失のクライアント更新を検出・除外することで、モデルの収束を回復する防御メカニズムを設計すること。
• MNISTおよびCIFAR-10データセット上で、Krum、Trimmed Mean、FedAvgといった異なる集約ルールの下で、シビル攻撃に対する防御の有効性を評価すること。

提案手法

• 各クライアントの局所プライバシー予算εに基づいてノイズレベルを操作し、シビルクライアントからの局所モデル更新を生成することで、高い予測コストを引き起こす。
• 各トレーニングラウンドでクライアントが報告する平均予測損失を監視し、異常を検出する。
• グローバルモデル上で著しく高い損失値を引き起こすクライアント更新を特定・除外する。
• 集約の前に、そのような高損失更新をフィルタリングすることで防御を適用する。
• Krum、Trimmed Mean、FedAvgを用いて、耐性を評価する。
• 比較のため、ガウスノイズのインジェクションをベースライン攻撃として採用する。

実験結果

リサーチクエスチョン

• RQ1 シビル攻撃は、差分プライバシーに基づくフェデレーテッドラーニングモデルの収束を効果的に劣化させることができるか？
• RQ2 提案された防御メカニズムは、DPベースのフェデレーテッドラーニングにおけるシビル攻撃をどのように検出し、緩和するか？
• RQ3 差分プライバシーが適用された状況で、Krum や Trimmed Mean といったロバストな集約ルールは、提案されたシビル攻撃に対してどれほど耐性を示すか？
• RQ4 シビル攻撃下でも、防御によりモデルの精度をベースライン水準に近い水準まで回復させることができるか？
• RQ5 攻撃と防御は、異なるモデルアーキテクチャ（CNN、MLP）およびデータセット（MNIST、CIFAR-10）でどのように動作するか？

主な発見

• CNNモデルにおけるMNISTでは、Krumでは誤差率が14％に上昇（攻撃なし時：3％）、Trimmed Meanでは85％に上昇する。
• MLPモデルでは、Trimmed Meanを用いた攻撃時、誤差率が65％に上昇するが、防御により精度が59％に回復（ベースライン：59％）。
• 攻撃により、特に高いノイズレベル下で、FedAvgおよびTrimmed Meanの収束が著しく遅延または発散する。
• 防御により、CNNモデルでは誤差率が3％、MLPモデルでは59％に回復され、攻撃なし時のベースラインと一致する。
• KrumおよびTrimmed Meanは、提案された攻撃に対して効果がなく、一方で提案された防御は高い精度を維持する。
• 収束曲線から、攻撃によりFedAvg、Krum、Trimmed Meanのすべてで、モデルの収束が著しく遅延または中断されることが示された。