[論文レビュー] Local Model Poisoning Attacks to Byzantine-Robust Federated Learning

Minghong Fang, Xiaoyu Cao+2 more|arXiv (Cornell University)|Nov 26, 2019

Adversarial Robustness in Machine Learning参考文献 66被引用数 174

ひとこと要約

この論文は、ビザンチン耐性を持つフェデレーテッドラーニングに対する局所モデル汚染の最初の体系的研究を提示し、最適化ベースの攻撃を4つの集約規則に対して定式化し、混合効果のある防御を評価する。

ABSTRACT

In federated learning, multiple client devices jointly learn a machine learning model: each client device maintains a local model for its local training dataset, while a master device maintains a global model via aggregating the local models from the client devices. The machine learning community recently proposed several federated learning methods that were claimed to be robust against Byzantine failures (e.g., system failures, adversarial manipulations) of certain client devices. In this work, we perform the first systematic study on local model poisoning attacks to federated learning. We assume an attacker has compromised some client devices, and the attacker manipulates the local model parameters on the compromised client devices during the learning process such that the global model has a large testing error rate. We formulate our attacks as optimization problems and apply our attacks to four recent Byzantine-robust federated learning methods. Our empirical results on four real-world datasets show that our attacks can substantially increase the error rates of the models learnt by the federated learning methods that were claimed to be robust against Byzantine failures of some client devices. We generalize two defenses for data poisoning attacks to defend against our local model poisoning attacks. Our evaluation results show that one defense can effectively defend against our attacks in some cases, but the defenses are not effective enough in other cases, highlighting the need for new defenses against our local model poisoning attacks to federated learning.

研究の動機と目的

• データ汚染を超えた連合学習の整合性脅威の研究を動機づける。
• 学習プロセスを標的とする最適化問題として局所モデル汚染を定式化する。
• 実データセット上で、4つのビザンチン耐性集約規則にわたって攻撃を評価する。
• このような攻撃に対する一般化防御の有効性を評価する。

提案手法

• 攻撃を、グローバル偏差を最大化するように改変された局所モデルを作成する最適化問題としてモデル化する。
• 4つの集約規則を攻撃する：Krum、Bulyan、trimmed mean、median。
• 完全知識と部分知識の下でKrumの最適化を解く2つの近似法を開発する。
• データ汚染（RONI由来、TRIMに触発）に基づく防御を拡張し、集約前に改ざんされた局所モデルを拒否する。
• 攻撃者が健全モデルの詳細を欠く部分知識シナリオの戦略を提供する。
• MNIST、Fashion-MNIST、CH-MNIST、Breast Cancer Wisconsinデータセットで攻撃の有効性と防御性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 改ざんされた作業者における局所モデル汚染は、ビザンチン耐性を持つフェデレーテッドラーニングの性能を著しく低下させることができるか。
• RQ2 局所モデル汚染攻撃に直面した際、既存のデータ汚染防御はどれほど効果的か。
• RQ3 提案された攻撃は、異なるビザンチン耐性集約規則（Krum、Bulyan、trimmed mean、median）間で転移するか。
• RQ4 局所モデル汚染に対して最も効果的な防御適応（ERR、LFR）はどれか、またどこで失敗するか。

主な発見

• 攻撃は堅牢な集約におけるグローバルモデルの誤差率を大幅に高める可能性がある（例：Krumを用いたMNISTでは誤差率が0.11から0.75へ上昇）。
• 2つの攻撃形式（directed deviationとdeviation）は効果を示し、directed deviationはtrimmed meanとmedianで優れていた。
• データ汚染防御（RONI由来およびTRIM由来）は、一部の設定で限定的な保護を提供し、他には無効であることを示しており、新しい防御の必要性を示唆している。
• Loss Function based Rejection (LFR)の方が多くの場合ERRよりも優れているが、いずれもすべての集約規則に対して普遍的な効果はない。
• 攻撃は集約規則間および知識シナリオを越えて移行性を示し、単一の防御を超える脅威の影響を示唆している。