[論文レビュー] How To Backdoor Federated Learning

Eugene Bagdasaryan, Andreas Veit+3 more|arXiv (Cornell University)|Jul 2, 2018

Privacy-Preserving Technologies in Data参考文献 73被引用数 699

ひとこと要約

本論文は、連邦学習がモデル置換によるモデルポイズニングに脆弱であり、意味的バックドアが持続しデータポイズニングを上回ることを可能にし、さらには安全な集約があってもそれを実現することを示している。

ABSTRACT

Federated learning enables thousands of participants to construct a deep learning model without sharing their private training data with each other. For example, multiple smartphones can jointly train a next-word predictor for keyboards without revealing what individual users type. We demonstrate that any participant in federated learning can introduce hidden backdoor functionality into the joint global model, e.g., to ensure that an image classifier assigns an attacker-chosen label to images with certain features, or that a word predictor completes certain sentences with an attacker-chosen word. We design and evaluate a new model-poisoning methodology based on model replacement. An attacker selected in a single round of federated learning can cause the global model to immediately reach 100% accuracy on the backdoor task. We evaluate the attack under different assumptions for the standard federated-learning tasks and show that it greatly outperforms data poisoning. Our generic constrain-and-scale technique also evades anomaly detection-based defenses by incorporating the evasion into the attacker's loss function during training.

研究の動機と目的

• 連邦学習におけるモデルポイズニングの脅威を動機づけ、形式化する。
• 悪意のある参加者がグローバルモデルをバックドア付きのものに置換しても、メインタスクの精度を低下させずに済むことを示す。
• 画像分類と語彙予測タスクにおける意味的バックドアを実証する。
• 安全な集約と異常検出器による防御下での攻撃有効性を評価する。

提案手法

• データ、学習手法、モデル提出の管理を含む、連邦学習における攻撃者の能力を定義する。
• グローバルモデルをバックドア付きモデルに置換する攻撃としてモデル置換を導入する。
• 異常検知を回避するための constrain-and-scale および train-and-scale 手法を開発・評価する。
• 攻撃者のラウンド後にバックドアの持続性を維持するための、2つのタスク学習の視点を提案・分析する。
• CIFAR-10 の画像分類と Reddit における語彙予測を用いて意味的バックドアを実証する。

実験結果

リサーチクエスチョン

• RQ1 単一または少数の悪意ある参加者が、メインタスクの精度を低下させずに連邦モデルにバックドアを導入できるか。
• RQ2 連邦学習における伝統的な訓練データ Poisoning と比較して、モデル置換はどれほど効果的か。
• RQ3 安全な集約下で攻撃者は異常検出器を回避できるか、そしてラウンドを横断してバックドアの持続性をどのように拡張できるか。
• RQ4 連邦モデルに埋め込めるバックドアの形式（意味的バックドア vs ピクセルパターン）はどのようなもので、実務でどの程度機能するか。

主な発見

• 単発攻撃で攻撃者が選択したタスクに対するバックドア精度を100%達成できる。
• 攻撃者が参加者の1%未満を制御するだけで、メインタスクの精度を犠牲にせずバックドアの忘却を防ぐことができる。
• モデル置換は語彙予測タスクにおいて、データポイズニングよりも大幅に優れている（例: 80,000 名の参加者で、8 名の悪意ある参加者が 50% のバックドア精度を達成）。
• 安全な集約と異常検出器は攻撃を防げず、攻撃者は constrain-and-scale または train-and-scale 手法で防御を回避できる。
• この攻撃は画像分類の意味的バックドアと語彙予測に対して有効であり、非独立同分布(non-i.i.d.) のデータ条件下でも有効である。