[論文レビュー] Poison Frogs! Targeted Clean-Label Poisoning Attacks on Neural Networks

Ali Shafahi, Wei Huang+5 more|arXiv (Cornell University)|Apr 3, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用数 249

ひとこと要約

この論文は、全体の性能を低下させることなく特定のテストインスタンスでのモデル挙動を操作する、標的付きクリーンラベル汚染攻撃を提案する。汚染画像をネットワークの隠れ層内のターゲット特徴と整合させるように最適化し（ウォーターマーキングと多様なベース画像を用いて）、トランスファーラーニングでは100%の成功率、エンドツーエンド学習では最大60%の成功率を達成。約50枚の汚染画像で実現。

ABSTRACT

Data poisoning is an attack on machine learning models wherein the attacker adds examples to the training set to manipulate the behavior of the model at test time. This paper explores poisoning attacks on neural nets. The proposed attacks use "clean-labels"; they don't require the attacker to have any control over the labeling of training data. They are also targeted; they control the behavior of the classifier on a $ extit{specific}$ test instance without degrading overall classifier performance. For example, an attacker could add a seemingly innocuous image (that is properly labeled) to a training set for a face recognition engine, and control the identity of a chosen person at test time. Because the attacker does not need to control the labeling function, poisons could be entered into the training set simply by leaving them on the web and waiting for them to be scraped by a data collection bot. We present an optimization-based method for crafting poisons, and show that just one single poison image can control classifier behavior when transfer learning is used. For full end-to-end training, we present a "watermarking" strategy that makes poisoning reliable using multiple ($\approx$50) poisoned training instances. We demonstrate our method by generating poisoned frog images from the CIFAR dataset and using them to manipulate image classifiers.

研究の動機と目的

• 全体の精度を低下させることなく、特定のテストインスタンスにおける分類器挙動を標的的に操作する攻撃を開発すること。
• 人間または自動システムによって正しくラベル付けされたクリーンラベル訓練データを用いる攻撃を設計し、標準的なデータ品質チェックでは検出できないようにすること。
• 攻撃者が公開データソース（例：Webスクレイピングによる画像）を介して汚染を挿入可能であるよう実現可能性を確保すること。ラベル付けの制御は不要。
• エンドツーエンド学習における課題に直面する。深層ネットワークの表現力の高い特徴により、トランスファーラーニングに比べて汚染が難易度が高いため。
• わずかな数の洗練されたウォーターマーキング済み汚染画像が、特定のターゲットインスタンスの誤分類を信頼性高く引き起こせることを示すこと。

提案手法

• アルゴリズム1を用いた最適化により、ニューラルネットワークの特徴空間においてターゲット画像と整合する汚染画像を生成する。
• ターゲット画像とベース画像を所定の濃度（例：20–30%）でブレンドすることでウォーターマーキング技術を適用し、特徴の重なりを強化する。
• 多様なベース画像を複数用いることで汚染画像の集合を作成し、ネットワークがターゲットの特徴を明確に学習しないようにする。
• エンドツーエンド学習では、ターゲットがベース分布に引き寄せられる特徴空間の収縮を利用する。そのために汚染の多様性を高める。
• 留保法（leave-one-out）アブレーションスタディを実施し、最適化、多様性、ウォーターマーキングがすべて成功に不可欠であることを検証する。
• インフルエンス関数と特徴可視化を用いて、トランスファーラーニングとエンドツーエンド学習における攻撃の違いの理由を分析する。

実験結果

リサーチクエスチョン

• RQ1 最小限の汚染予算とラベル付けの制御なしに、標的付きクリーンラベル汚染が可能か？
• RQ2 なぜ汚染攻撃はトランスファーラーニングにおいてエンドツーエンド学習より効果的なのか？このギャップをどのように埋められるか？
• RQ3 濃度制御付きウォーターマーキングがエンドツーエンド学習における汚染攻撃の成功率をどのように向上させるか？
• RQ4 エンドツーエンド学習において、汚染の多様性が攻撃成功率に与える影響はどの程度か？
• RQ5 低信頼度（アウトライア）のターゲットは、通常のターゲットよりも容易に操作可能か？

主な発見

• 提案されたクリーンラベル攻撃は、トランスファーラーニング状況で100%の成功率を達成し、同様のタスクで過去の研究が達成した57%を上回る。
• エンドツーエンド学習では、約50枚の汚染画像を用いて最大60%の成功率を達成。汚染画像の数が増えるにつれて成功率は単調に上昇する。
• 低信頼度（アウトライア）のインスタンスを標的にすると、成功率が70%に上昇し、ランダムターゲットに比べ17%の向上を示す。
• 30%の濃度でウォーターマーキングを施すと成功率が顕著に向上するが、濃度を20%に低下させると性能が低下する。これは特徴の重なりに敏感であることを示唆する。
• エンドツーエンド学習でも意思決定境界はほとんど変化せず、汚染が境界の回転ではなく特徴空間のずれによって機能していることが示唆される。
• アブレーションスタディにより、最適化、多様性、ウォーターマーキングの3要素がエンドツーエンド学習における成功に不可欠であることが確認された。