[論文レビュー] Indiscriminate Data Poisoning Attacks on Neural Networks

Yiwei Lu, Gautam Kamath+1 more|arXiv (Cornell University)|Apr 19, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、2次最適化を用いて同時に数千個の汚染データを生成する、Total Gradient Descent Ascent (TGDA) を用いた、深層ニューラルネットワークにおける新規で効率的なデータ汚染攻撃を提案する。従来の逐次的手法と比較して、攻撃の効果性と速度が著しく向上しており、防御機構に対しても強く耐性を示す一方で、視覚的にきれいで区別がつかない汚染データを生成する。

ABSTRACT

Data poisoning attacks, in which a malicious adversary aims to influence a model by injecting "poisoned" data into the training process, have attracted significant recent attention. In this work, we take a closer look at existing poisoning attacks and connect them with old and new algorithms for solving sequential Stackelberg games. By choosing an appropriate loss function for the attacker and optimizing with algorithms that exploit second-order information, we design poisoning attacks that are effective on neural networks. We present efficient implementations that exploit modern auto-differentiation packages and allow simultaneous and coordinated generation of tens of thousands of poisoned points, in contrast to existing methods that generate poisoned points one by one. We further perform extensive experiments that empirically explore the effect of data poisoning attacks on deep neural networks.

研究の動機と目的

• 非凸な深層ニューラルネットワークにおける無差別的データ汚染攻撃の体系的分析の欠如に対処すること。
• 大規模なモデルやデータセットに適用された既存の逐次的汚染手法の計算的に非現実的な課題を克服すること。
• 同時に数万件の汚染データポイントを生成できるスケーラブルで効率的な攻撃アーキテクチャを設計すること。
• さまざまなデータ洗浄および防御メカニズムに対する提案攻撃の耐性を評価すること。
• 現代のニューラルネットワークにおける無差別的データ汚染の新しいベンチマークを確立すること。

提案手法

• 攻撃者が、防御者のテスト精度を最小化するように汚染データを生成することで、攻撃者がリーダーとなる非ゼロ和スターリングゲームとしてデータ汚染攻撃を定式化する。
• 2次情報を利用することで、数千個の汚染データを同時に最適化できるTotal Gradient Descent Ascent (TGDA) を用いて攻撃者の目的関数を最適化する。
• 攻撃者を別個のニューラルネットワークとしてパrameter化することで、エンドツーエンドの学習が可能となり、1回のフォワードパスで同時に汚染データポイントを生成できる。
• 防御者のモデルの完全な知識が得られない場合に備え、防御者の学習プロセスをシミュレートするためにサロゲートモデルを用いる。
• クリーンラベル設定を適用し、汚染データが実際のデータと視覚的に区別がつかないことを保証する。
• ゼロ和と非ゼロ和の両方の定式化をサポートする統一アーキテクチャを採用し、攻撃設計における柔軟性を実現する。

実験結果

リサーチクエスチョン

• RQ1 TGDA などの2次最適化技術は、深層ニューラルネットワークにおけるデータ汚染攻撃の効率性と効果性を著しく向上させることができるか？
• RQ2 本稿で提案する汚染データの同時生成は、逐次的手法と比較して攻撃速度と成功確率においてどのように異なるか？
• RQ3 損失ベースの洗浄防御（例：損失が上位3％の訓練データを削除）や影響関数削除、勾配ベースの外れ値検出に対して、TGDA 攻撃はどの程度耐性を示すか？
• RQ4 防御者のモデルに関する知識が限定的であり、サロゲートモデルに依存する場合、攻撃はどの程度有効に機能するか？
• RQ5 本手法は、キュレーターに検出されにくく、かつモデル性能を著しく低下させるクリーンラベル汚染データを生成できるか？

主な発見

• TGDA 攻撃は、従来の最先端の汚染手法と比較して、少なくとも1桁速いトレーニング速度を達成し、1回のパスで数万件の汚染データを生成可能である。
• CIFAR-10 における ResNet-18 のテスト精度を、汚染予算 ε=5% の条件下で最大40%まで低下させ、既存手法を著しく上回る。
• 損失ベースの防御（例：損失が上位3％の訓練点を削除）に対しても耐性を示し、検出可能性を明示的に制約する pGAN と同等の性能を達成する。
• 影響関数ベースの防御には耐性を示すが、勾配行列の特異値が大きい点を削除する Sever 防御によって著しく弱体化する。
• MaxUp は、攻撃者が再トレーニングを想定しているのに対し、敵対的例の設定とは異なり、TGDA 攻撃に対して効果を示さない。
• TGDA が生成する汚染データは視覚的にクリーンデータと区別がつかず、クリーンラベル汚染攻撃としての成功が裏付けられる。