[論文レビュー] Generative Poisoning Attack Method Against Neural Networks

Chaofei Yang, Qing Wu+2 more|arXiv (Cornell University)|Mar 3, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用数 148

ひとこと要約

本論文は、ニューラルネットワークの精度を低下させる poisoned inputs を生成する生成的手法を提示し、直接勾配法と比較してデータ汚染を大幅に高速化（最大239.38× faster）させる。MNISTとCIFAR-10の実験と損失に基づく対策を用いた。

ABSTRACT

Poisoning attack is identified as a severe security threat to machine learning algorithms. In many applications, for example, deep neural network (DNN) models collect public data as the inputs to perform re-training, where the input data can be poisoned. Although poisoning attack against support vector machines (SVM) has been extensively studied before, there is still very limited knowledge about how such attack can be implemented on neural networks (NN), especially DNNs. In this work, we first examine the possibility of applying traditional gradient-based method (named as the direct gradient method) to generate poisoned data against NNs by leveraging the gradient of the target model w.r.t. the normal data. We then propose a generative method to accelerate the generation rate of the poisoned data: an auto-encoder (generator) used to generate poisoned data is updated by a reward function of the loss, and the target NN model (discriminator) receives the poisoned data to calculate the loss w.r.t. the normal data. Our experiment results show that the generative method can speed up the poisoned data generation rate by up to 239.38x compared with the direct gradient method, with slightly lower model accuracy degradation. A countermeasure is also designed to detect such poisoning attack methods by checking the loss of the target model.

研究の動機と目的

• 勾配ベースの手法を用いたニューラルネットワークに対する Poisoning 攻撃の実現可能性を調査する。
• Poisoned data 生成を加速する生成的手法（オートエンコーダベース）を開発する。
• 速度とモデル精度への影響の観点から、生成法と直接勾配攻撃を比較する。
• 検出の低オーバーヘッドの損失ベース対策を提案する。
• MNIST および CIFAR-10 データセットで有効性を評価する。

提案手法

• 汚染データに関する勾配を計算し、勾配上昇によって汚染された入力を更新することで直接勾配汚染を分析する。
• 損失差分から導かれる報酬関数で更新される汚染データを生成する生成器（オートエンコーダ）を導入する。
• 識別器（ターゲット NN）を用いて損失と勾配を算出し、生成器へ伝えることで二次導関数を暗黙的に扱う。
• 直接勾配法のアルゴリズム1と生成法のアルゴリズム2を定式化し、明示的な二階導関数計算を削減する。
• 連続する攻撃間の損失差に基づく報酬関数を設計して生成器を訓練する。
• 入力による損失が閾値を超えた場合にアラームを発する損失ベースの対策（アルゴリズム3）を提案する。）

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの手法を用いてニューラルネットワークに対する Poisoning 攻撃を効果的に実行できるか？
• RQ2 生成型（オートエンコーダベース）アプローチは、直接勾配法と比較して汚染データ生成を大幅に加速させるか？
• RQ3 この攻撃は MNIST や CIFAR-10 などの標準データセットにおけるモデルの精度にどのような影響を与えるか？
• RQ4 低オーバーヘッドの損失ベース検出器は、訓練中に汚染入力を信頼性高く識別できるか？

主な発見

• 生成法は CIFAR-10 で poisoned data 生成を最大 239.38× 速くし、直接勾配法と比較してより大規模なネットワークへのスケーラビリティを向上させる。
• MNIST では、最良の生成法が 1000-group 設定下で精度低下を 16.59% にまで抑える（直接勾配は 8.84%）一方で、依然として顕著なスピード向上を示す。
• CIFAR-10 では、生成法はデータセット規模の拡大に特に伴って、同等またはより高い攻撃効果を、はるかに低い時間オーバーヘッドで示す。
• 直接勾配法は時間がかかり、入力次元とモデルの複雑さに応じてスケールするが、生成法はこのボトルネックを緩和する。
• 損失ベースの対策は損失の急増を監視することで汚染を検出する。過度な警報は低オーバーヘッドの攻撃を識別するための精度確認を誘発できる。
• 実験は汚染攻撃がターゲットモデルの性能を低下させることと、生成器ガイド型アプローチがより大規模なネットワークに対してスケーラブルであることを示している。