[論文レビュー] Certified Defenses for Data Poisoning Attacks

Jacob Steinhardt, Pang Wei Koh+1 more|arXiv (Cornell University)|Jun 9, 2017

Adversarial Robustness in Machine Learning参考文献 50被引用数 83

ひとこと要約

本論文は、外れ値除去を行いその後経験的リスク最小化を行う防御に対して、最悪ケース損失の近似的上限を導出する枠組みを提示し、これらの境界値にほぼ一致する実用的な攻撃を提供します。

ABSTRACT

Machine learning systems trained on user-provided data are susceptible to data poisoning attacks, whereby malicious users inject false training data with the aim of corrupting the learned model. While recent work has proposed a number of attacks and defenses, little is understood about the worst-case loss of a defense in the face of a determined attacker. We address this by constructing approximate upper bounds on the loss across a broad family of attacks, for defenders that first perform outlier removal followed by empirical risk minimization. Our approximation relies on two assumptions: (1) that the dataset is large enough for statistical concentration between train and test error to hold, and (2) that outliers within the clean (non-poisoned) data do not have a strong effect on the model. Our bound comes paired with a candidate attack that often nearly matches the upper bound, giving us a powerful tool for quickly assessing defenses on a given dataset. Empirically, we find that even under a simple defense, the MNIST-1-7 and Dogfish datasets are resilient to attack, while in contrast the IMDB sentiment dataset can be driven from 12% to 23% test error by adding only 3% poisoned data.

研究の動機と目的

• 最悪ケースのデータ汚染に対する防御の頑健性を理解する必要性を動機づける。
• サニタイズ防御の一群に対して最悪ケースの損失を上限するための枠組みを提案する。
• 最小最大境界を計算し候補攻撃を生成する効率的なオンライン学習法を開発する。
• 固定（データ非依存）防御とデータ依存防御を区別して脆弱性を分析する。
• 画像データセットとテキストデータセットで実証的にフレームワークを示し、データセット依存の耐性を明らかにする。

提案手法

• マージンベースの損失を用いた予測タスクと因果的データ汚染攻撃モデルを考える。
• 実行可能集合Fを介して外れ値を除去するデータサニタイズ防御を用い、残りのデータで学習する。
• 訓練損失とテスト損失およびインライア（適合データ）を関連づける三つの近似を用いて最大攻撃損失の近似的上限を導出する。
• オンライン学習を適用してミニマックス損失Mを計算し、候補攻撃集合Dpを生成する。
• Dp上の分布へ緩和することによってデータ依存防御へ拡張し、緩和された最大問題を解く。
• 2つの具体例を挙げる：オラクル（真のクラスセントロイド）と経験的セントロイド、SphereとSlab防御を用いて説明する。）

実験結果

リサーチクエスチョン

• RQ1 外れ値除去と経験的リスク最小化を用いた場合、データ汚染下で防御者が直面しうる最悪ケースのテスト損失はどれか？
• RQ2 固定とデータ依存の外れ値防御に対して、厳密な上限を算出し攻撃者戦略を構築するにはどうすればよいか？
• RQ3 データセットの構造（次元性や特徴の関連性など）は、汚染攻撃に対する防御性にどのように影響するか？
• RQ4 実践におけるオラクルベースの耐性とデータ依存防御とのギャップはどの程度か？
• RQ5 オンライン学習ベースの手法は耐性を認証し、ほぼ最適な汚染戦略を生成できるか？

主な発見

• オラクルの sphere/slab 防御は、MNIST-1-7 および Dogfish に対して、最大で 30% の汚染データがあっても小さな認定境界をもたらす（例：0.1 を下回る上限）。
• 同じ防御下で、IMDB の感情データは汚染データがわずか3%でもテスト誤差を12%から23%へ押し上げ、データセット依存を示す。
• データ依存防御はかなり弱くなる可能性があり、MNIST-1-7 と Dogfish の攻撃は経験的セントロイド防御の下で大きく成長し、30% の汚染時にテスト損失が顕著に上昇する。
• 汚染割合が小さい場合（≤5%）、MNIST-1-7 と Dogfish では耐性が持続するが、より大きな汚染では外れ値除去を崩すことが可能になる。
• テキストデータでは、IMDB はオラクル防御を通過しても顕著な脆弱性を示し、Enron も整合性制約の下で攻撃可能性を示す。
• ミニマックス枠組みから導かれた攻撃戦略は、いくつかの実験で上限値をほぼ追従しており、手法の有効性を裏付けている。