[論文レビュー] PixelDefend: Leveraging Generative Models to Understand and Defend against Adversarial Examples

Yang Song, Taesup Kim+3 more|arXiv (Cornell University)|Oct 30, 2017

Adversarial Robustness in Machine Learning被引用数 338

ひとこと要約

PixelDefendは PixelCNN の生成モデルを用いて敵対的画像を検出・浄化し、入力を訓練分布へ戻すことで、モデルや攻撃に依存しない方法で分類器の精度を回復させる。

ABSTRACT

Adversarial perturbations of normal images are usually imperceptible to humans, but they can seriously confuse state-of-the-art machine learning models. What makes them so special in the eyes of image classifiers? In this paper, we show empirically that adversarial examples mainly lie in the low probability regions of the training distribution, regardless of attack types and targeted models. Using statistical hypothesis testing, we find that modern neural density models are surprisingly good at detecting imperceptible image perturbations. Based on this discovery, we devised PixelDefend, a new approach that purifies a maliciously perturbed image by moving it back towards the distribution seen in the training data. The purified image is then run through an unmodified classifier, making our method agnostic to both the classifier and the attacking method. As a result, PixelDefend can be used to protect already deployed models and be combined with other model-specific defenses. Experiments show that our method greatly improves resilience across a wide variety of state-of-the-art attacking methods, increasing accuracy on the strongest attack from 63% to 84% for Fashion MNIST and from 32% to 70% for CIFAR-10.

研究の動機と目的

• 敵対的な例をデータ分布の外れ値として研究する動機づけ。
• 知覚できない敵対的摂動は訓練分布の低確率領域に大半が存在すると仮定する。
• 分類器および攻撃に依存しない検出および浄化技術を開発する。
• 浄化が既存の防御と組み合わせて頑健性を高め得ることを示す。
• ベンチマークデータセット上で広範な攻撃に対する最新の頑健性を示す。

提案手法

• クリーンな訓練データ上で PixelCNN の生成モデルを訓練し、画像のデータ分布 p(X) を推定する。
• 尤度を用いて敵対的入力を検出する統計検定を用い、置換検定に基づく p 値を生成する。
• PixelDefend を提案する：貪欲デコード手順を用いて、epsilon_defend の近傍内で PixelCNN モデルの下でより高い確率へ入力を移動させることにより入力を浄化する。
• 入力の生成モデル下での確率に基づいて epsilon_defend を調整し、クリーン画像への影響を最小化する適応的なバリアントを提供する。
• 分類器を変更しない；PixelDefend はモデル依存性も攻撃依存性も持たず、敵対的訓練や他の防御と組み合わせることができる。
• Fashion-MNIST と CIFAR-10 に対し ResNet および VGG 分類器を用いて、複数の攻撃（RAND、FGSM、BIM、DeepFool、CW）に対して評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的な例はニューラル密度モデルで推定される訓練分布の低確率領域に優位に存在しますか？
• RQ2 生成モデルベースの検出器（p値を介して）は、多様な攻撃手法全体で敵対的入力を信頼性高く識別できますか？
• RQ3 攻撃者や分類器を知らなくても、訓練分布の高密度領域へ画像を浄化することで強力な攻撃に対する分類精度を回復できますか？
• RQ4 PixelDefend は他の防御と組み合わせた場合、データセットおよび攻撃タイプを横断して意味のある頑健性の向上をもたらしますか？
• RQ5 PixelDefend パイプライン全体をターゲットとするエンドツーエンドの敵対的攻撃は実現可能ですか、もしそうならどの程度有効ですか？

主な発見

• 敵対的な例は通常、クリーンな画像より PixelCNN の尤度が数オーダー以上低くなる。
• PixelCNN の尤度を用いた p 値検出器は、広範な攻撃にわたり高い確率で敵対的入力を識別できる。
• PixelDefend の浄化は摂動画像を高密度領域へ移動させ、既存の分類器と組み合わせると、強力な攻撃下での精度を大幅に向上させる（例：Fashion-MNIST の最強攻撃で 63% → 84%、CIFAR-10 で 32% → 70%）。
• PixelDefend はモデル-非依存、攻撃-非依存であり、敵対的訓練と互換性があり、分類器を変更せずに頑健性を高める。
• PixelDefend パイプライン全体をターゲットとするエンド-to-エンドの敵対的攻撃を作成するのは難しく、反復的勾配ベースの攻撃は実際には有効な摂動を見つけられない。