[論文レビュー] Mitigating Backdoor Attacks in Federated Learning

Chen Wu, Yang Xian+2 more|arXiv (Cornell University)|Oct 28, 2020

Adversarial Robustness in Machine Learning参考文献 20被引用数 60

ひとこと要約

本論文は、クライアントの生データへアクセスせずにフェデレーテッド学習におけるバックドア攻撃を緩和するためのフェデレーテッドプルーニングフレームワークと重み調整および微調整を提案し、攻撃成功率を大幅に低減させつつ精度の低下を最小限に抑えることを示している。

ABSTRACT

Malicious clients can attack federated learning systems using malicious data, including backdoor samples, during the training phase. The compromised global model will perform well on the validation dataset designed for the task, but a small subset of data with backdoor patterns may trigger the model to make a wrong prediction. There has been an arms race between attackers who tried to conceal attacks and defenders who tried to detect attacks during the aggregation stage of training on the server-side. In this work, we propose a new and effective method to mitigate backdoor attacks after the training phase. Specifically, we design a federated pruning method to remove redundant neurons in the network and then adjust the model's extreme weight values. Our experiments conducted on distributed Fashion-MNIST show that our method can reduce the average attack success rate from 99.7% to 1.9% with a 5.5% loss of test accuracy on the validation dataset. To minimize the pruning influence on test accuracy, we can fine-tune after pruning, and the attack success rate drops to 6.4%, with only a 1.7% loss of test accuracy. Further experiments under Distributed Backdoor Attacks on CIFAR-10 also show promising results that the average attack success rate drops more than 70% with less than 2% loss of test accuracy on the validation dataset.

研究の動機と目的

• クライアントデータがプライベートなままのフェデレーテッド学習におけるバックドアの脆弱性を動機づけ、対応する。
• クライアントデータセットにアクセスすることなく、眠っているニューロンを除去しバックドアを緩和するデータプライベートな剪定法を開発する。
• バリデーション精度を保持するため、極端な重み調整および剪定後のファインチューニング段階を加えた剪定を強化する。
• IIDでないデータ分布と分散バックドア攻撃の下で、MNIST, Fashion-MNIST, CIFAR-10 における有効性を示す。

提案手法

• クライアント由来の活性化ランキングまたは二値投票マスクを用いて眠っているニューロンを剪定する2つのフェデレーテッド剪定法を導入する。
• クライアント信号を集約してグローバルな剪定系列を形成し、小規模データセットで検証しつつニューロンを剪定する。
• 層ごとの閾値 s = mu_i ± Delta * sigma_i により、mu_i および sigma_i がその層の重みの平均と標準偏差であるとき、層を超える重みをゼロにして極端な重みを調整する。
• 攻撃者が有効化した入力を制約し、バックドアの有効性を抑制するために入力正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド剪定は、クライアントのプライベートデータにアクセスせずに眠っているニューロンを除去しつつ、バックドア効果を緩和できるか。
• RQ2 この剪定戦略はバックドアの標的とクライアント間のデータ分布とどのように相互作用するか。
• RQ3 剪定後のファインチューニングと極端な重み調整が、攻撃成功率を減らしつつ検証精度を維持または回復するか。
• RQ4 非IID分布と分散バックドア攻撃の下で、MNIST、Fashion-MNIST、CIFAR-10 の各データセットで有効か。

主な発見

• フェデレーテッド剪定は、バックドア攻撃の成功率を高い水準（例: >99%）から低い水準（多くは<2%）へと低減し、テスト精度の低下は小さい。
• 剪定後の極端な重みを調整すると、攻撃成功率をさらに10%未満に低減し、検証精度を約5%程度維持または改善する。
• 2つの剪定手法（Ranking Vote と Majority Vote）は、対象とデータセットを問わず同様の剪定効果を示す。
• 剪定後のファインチューニングは精度回復に寄与し、全体の防御パイプラインは非IIDデータと分散バックドア攻撃の下でも有効なままである。
• MNIST、Fashion-MNIST、CIFAR-10 の実験は、最先端の分散バックドア攻撃下でバックドア成功率の有望な低減を示す。