[論文レビュー] Learning to Backdoor Federated Learning

Henger Li, Wu Chen+2 more|arXiv (Cornell University)|Mar 6, 2023

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本論文は、ローカルデータとシステム知識を用いてシミュレート環境で適応的で非短視的攻撃方策を学習する強化学習（RL）ベースのフェデレーテッドラーニング（FL）向けバックドア攻撃フレームワークを提案する。本手法は、最先端の訓練段階防御（例：Krum、Median、ノルムバウンディング）および訓練後防御（例：Neuron Clipping、Pruning）の両方においても、ほぼ完璧なバックドア正確性（最大100%）を達成し、BFL、DBA、Anticipateなどの既存攻撃を上回る耐久性を示した。

ABSTRACT

In a federated learning (FL) system, malicious participants can easily embed backdoors into the aggregated model while maintaining the model's performance on the main task. To this end, various defenses, including training stage aggregation-based defenses and post-training mitigation defenses, have been proposed recently. While these defenses obtain reasonable performance against existing backdoor attacks, which are mainly heuristics based, we show that they are insufficient in the face of more advanced attacks. In particular, we propose a general reinforcement learning-based backdoor attack framework where the attacker first trains a (non-myopic) attack policy using a simulator built upon its local data and common knowledge on the FL system, which is then applied during actual FL training. Our attack framework is both adaptive and flexible and achieves strong attack performance and durability even under state-of-the-art defenses.

研究の動機と目的

• 既存のバックドア攻撃には短視眼的で、高度な防御に対して効果を発揮しないという限界があることに対処する。
• 訓練段階のアグリゲーション防御と訓練後緩和技術の両方に影響を与える、より適応的で耐久性の高いバックドア攻撃を開発する。
• 現在の防御は、システム反応を予測する知的な長期的攻撃戦略に対して不十分であることを示す。
• 強化学習を用いて攻撃ハイパーパrameterを動的に最適化できることを示し、攻撃の性能と不審性を向上させる。

提案手法

• 攻撃をマルコフ意思決定過程（MDP）として定式化し、主タスクとバックドアタスクの両方で長期的報酬を最大化する方策を学習する。
• ローカルデータとシステム知識を用いて、FL環境をエミュレートするシミュレータ（ワールドモデル）を構築し、制御された環境で攻撃方策を訓練する。
• 深層強化学習を用いて、二段階の攻撃ハイパーパrameterを同時に最適化する：（1）モデル更新戦略、（2）バックドア注入のための重み調整。
• 行動空間を圧縮し、効率を向上させつつも高い攻撃性能を維持するため、ダブル・ワムミー・バックドア攻撃（DWBA）を実装する。
• 報酬関数に防御行動（例：Krum、Median、Neuron Clipping）を組み込むことで、将来的なシステム反応に耐性を持つ攻撃を実現する。
• 訓練済みのRL方策を実際のFL訓練に適用し、検出を回避するためのオプションとしてノイズ注入を実施する。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースの攻撃は、強力なアグリゲーションおよび訓練後防御下でも、ヒューリスティックベースのバックドア攻撃を上回ることができるか？
• RQ2 訓練後に防御が適用された場合、RLベースのバックドア攻撃の耐久性は、既存攻撃と比べてどの程度優れているか？
• RQ3 RLエージェントは、Krum や Median のような堅牢なアグリゲーションルールの挙動をどの程度予測・適応できるか？
• RQ4 報酬関数に防御メカニズムを組み込むことで、実世界のFLシステムにおける攻撃の耐性と不審性を向上させることができるか？

主な発見

• Krum および Median 防御下では、100回の訓練ラウンド以内にRLベース攻撃が100%のバックドア正確性を達成し、BFL よりも著しく優れた性能を示した。
• ノルムバウンディング防御（しきい値0.05）下では、RL攻撃は220ラウンド目で約100%のバックドア正確性に到達したが、BFL のバックドア正確性は50%を上回らなかった。
• 攻撃はベースラインと同等の高いメインタスク正確性を維持しており、主タスクの性能が損なわれていないことを示した。
• 報酬関数にバックドア注入の影響を事前に学習することで、Neuron Clipping や Pruning といった訓練後防御を回避できた。
• 300ラウンド経過後も、RL攻撃は80%のバックドア正確性を維持したのに対し、他の攻撃は40%未満に低下した。これにより、優れた耐久性が証明された。
• 攻撃の成功は、将来のシステム行動を報酬関数に組み込む非短視的で長期的な最適化戦略に起因する。