[論文レビュー] Stronger Data Poisoning Attacks Break Data Sanitization Defenses

Pang Wei Koh, Jacob Steinhardt+1 more|arXiv (Cornell University)|Nov 2, 2018

Adversarial Robustness in Machine Learning被引用数 99

ひとこと要約

本論文は、一般的なデータサニタイズ防御を回避し、わずか3%の毒化データでテスト精度を著しく低下させる、3つの協調データポイズニング攻撃を提案する。これらの攻撃は、最近傍法、訓練損失、SVD、セントロイド距離に基づく異常検知にも依然として有効であることを示す。

ABSTRACT

Machine learning models trained on data from the outside world can be corrupted by data poisoning attacks that inject malicious points into the models' training sets. A common defense against these attacks is data sanitization: first filter out anomalous training points before training the model. In this paper, we develop three attacks that can bypass a broad range of common data sanitization defenses, including anomaly detectors based on nearest neighbors, training loss, and singular-value decomposition. By adding just 3% poisoned data, our attacks successfully increase test error on the Enron spam detection dataset from 3% to 24% and on the IMDB sentiment classification dataset from 12% to 29%. In contrast, existing attacks which do not explicitly account for these data sanitization defenses are defeated by them. Our attacks are based on two ideas: (i) we coordinate our attacks to place poisoned points near one another, and (ii) we formulate each attack as a constrained optimization problem, with constraints designed to ensure that the poisoned points evade detection. As this optimization involves solving an expensive bilevel problem, our three attacks correspond to different ways of approximating this problem, based on influence functions; minimax duality; and the Karush-Kuhn-Tucker (KKT) conditions. Our results underscore the need to develop more robust defenses against data poisoning attacks.

研究の動機と目的

• 防御者が異常な訓練データ点を除外するためにデータサニタイズを用いる場合のデータポイズニングリスクを動機づけ、形式化する。
• 協調ポイズニングが多様な異常検知器を回避し、モデル性能を低下させることを示す。
• 防御を回避するために、集中化、制約付き最適化、デコイパラメータを活用する3つの攻撃フレームワークを提案する。
• 現実的な防御仮定の下で実データセットにおける実質的なテスト誤りの増加を実証する。）

提案手法

• 攻撃を、防御者の異常検知器を回避する必要がある制約付き最適化問題として定式化する。
• 毒化ポイントを限られた場所に集中させ、機敏な異常検知器を打破しつつ効果を維持する。
• ポイズニングに必要な2階最適化を近似するため、Influence、KKT、Minimaxの3つの攻撃変種を開発する。
• デコイパラメータを用いて攻撃者の最適化を防御者の学習モデルから分離し、効率的な攻撃計算を可能にする。
• 整数値入力域を扱い攻撃の集中を保証するための乱数丸め（ランダム丸め）アプローチを提供する。
• 毒化集合と異常検知器パラメータの両方を洗練させる反復最適化を提案する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が複数点を協調させた場合、データサニタイズ防御は毒性データを確実に検出して破棄できるか？
• RQ2 k-NN、L2、slab、損失ベース、SVD防御など、多様な異常検知を回避する攻撃戦略とは何か？
• RQ3 防御制約下で標準データセットのテスト誤りを増大させる協調ポイズニング攻撃の有効性はどの程度か？
• RQ4 集中化やデコイパラメータ最適化などの攻撃手法は、凸損失の下で二クラスおよび多クラス分類器の間で一般化するか？
• RQ5 現実的なデータセットで2階ポイズニング最適化を解く計算戦略はどのようなものか？

主な発見

• サニタイズ下でも、Enron スパムで3%の毒化データによりテスト誤りを3%から24%へ増加させる攻撃が可能。
• サニタイズ下でも、IMDB 感情分析で3%の毒化データによりテスト誤りを12%から29%へ増加させる攻撃が可能。
• 集中化された毒化点は、少数の場所にクラスタリングすることで非常に感度の高い異常検知器を回避する。
• 凸損失の下で、2クラスSVMやロジスティック回帰のいくつかで、2点の毒化だけで効果的な攻撃を実現できる。
• 3つの攻撃定式化（Influence、KKT、Minimax）は、計算効率と防御回避のバランスを取る。
• 正則化は、小さな毒化部分集合への適合度を低下させることで、逆説的に防御側の脆弱性を高める可能性がある。