[論文レビュー] A Little Is Enough: Circumventing Defenses For Distributed Learning

Moran Baruch, Gilad Baruch+1 more|arXiv (Cornell University)|Feb 16, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 47

ひとこと要約

本論文は、腐敗したワーカーからの多くのパラメータに対する小さく協調的な摂動が、分散 SGD の既存のすべての防御を打ち破り、モデルにバックドアを仕込むことも可能であり、全知的攻撃者の知識を必要としない。

ABSTRACT

Distributed learning is central for large-scale training of deep-learning models. However, they are exposed to a security threat in which Byzantine participants can interrupt or control the learning process. Previous attack models and their corresponding defenses assume that the rogue participants are (a) omniscient (know the data of all other participants), and (b) introduce large change to the parameters. We show that small but well-crafted changes are sufficient, leading to a novel non-omniscient attack on distributed learning that go undetected by all existing defenses. We demonstrate our attack method works not only for preventing convergence but also for repurposing of the model behavior (backdooring). We show that 20% of corrupt workers are sufficient to degrade a CIFAR10 model accuracy by 50%, as well as to introduce backdoors into MNIST and CIFAR10 models without hurting their accuracy

研究の動機と目的

• 独立同分布 (i.i.d.) の仮定の下で機能する、非全知的な分布学習攻撃を動機付け、形式化する。
• 小さく協調的なパラメータの変更が最先端の防御（Trimmed Mean, Krum, Bulyan）を打ち破ることを示す。
• 同じ摂動が収束を妨げるとともに、モデルへバックドアを組み込むことを可能にすることを示す。
• 一般的な防御下で検出を回避する安全な摂動範囲を計算する方法論を提案する。

提案手法

• 非 Byzantine ワーカーに対して正規分布仮定を用いて、パラメータごとの平均値の周辺の摂動範囲を分析する。
• Trimmed Mean で検出されず、ひいては Krum と Bulyan も検出しない最大摂動 z^max（標準偏差の単位）を導出する。
• 各パラメータで corrupted workers のパラメータを mean + z^max * sigma に設定して、非全知的な攻撃を構築する。
• 摂動範囲内で最適化して収束妨害とバックドーミングを実証する（全体の精度を保持する損失項を含む）。
• バックドア・ストラテジーを提供（バックドア・サンプル攻撃およびバックドア・パターン攻撃を含む）、元のパラメータからの逸脱を最小化しつつ、実行可能な摂動領域内で最適化する。

実験結果

リサーチクエスチョン

• RQ1 全知的な攻撃者の知識を要せず、腐敗したワーカー間で小さく協調的なパラメータ摂動は、分散 SGD の既存のアグリゲーション防御を打ち破ることができるか。
• RQ2 Trimmed Mean, Krum, Bulyan の防御下で、収束を誤導するまたはバックドアを有効にするのに十分な摂動範囲は、パラメータごとの標準偏差の単位でどれほどか。
• RQ3 i.i.d. データの仮定の下で、良性精度を高く保ちながら効果的なバックドーミングを達成することは可能か。
• RQ4 共通の防御下で、攻撃が異なるデータセット（MNIST、CIFAR-10）やモデルアーキテクチャ間でどのように転移するのか。

主な発見

• 多くのパラメータに対する小さく指向的な変化が、分散学習における評価対象のすべての防御（Trimmed Mean、Krum、Bulyan）を打ち破る。
• おおよそ1–1.5標準偏差までの摂動はCIFAR-10の精度を大きく低下させる一方、MNISTはより耐性があるが影響を受ける。
• Krum はこの攻撃に特に脆弱である。Bulyan と Trimmed Mean も回避され、腐敗したワーカーの割合が防御のバリアントに応じて約24–48%にも達しても同様。
• この攻撃によりバックドーミングが可能となり、標的入力に対して攻撃者が制御する出力を得られ、良性の精度への影響を最小限に抑えつつ防御を越えた。
• ある状況では防御なし（単純平均）が最も攻撃に対して有効であることがあり、堅牢性とバックドアへの脆弱性の現実的なトレードオフを際立たせる。