[論文レビュー] Detecting Adversarial Perturbations with Saliency

Chiliang Zhang, Zhimou Yang+1 more|arXiv (Cornell University)|Mar 23, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 3

ひとこと要約

本稿では、真の入力と adversarial 入力の saliency マップの乖離に着目し、salieny-based なバイナリ分類器を提案する。この手法は、勾配に基づく saliency を用いて、クリーン画像と摂動を加えた画像の両方で学習を行い、多様な攻撃に対して MNIST で 100%、CIFAR-10 と ImageNet のサブセットで 90% を超える検出精度を達成し、強力な敵対的攻撃から弱い敵対的攻撃への一般化性能が優れている。

ABSTRACT

In this paper we propose a novel method for detecting adversarial examples by training a binary classifier with both origin data and saliency data. In the case of image classification model, saliency simply explain how the model make decisions by identifying significant pixels for prediction. A model shows wrong classification output always learns wrong features and shows wrong saliency as well. Our approach shows good performance on detecting adversarial perturbations. We quantitatively evaluate generalization ability of the detector, showing that detectors trained with strong adversaries perform well on weak adversaries.

研究の動機と目的

• 深層ニューラルネットワークが、人間には見えないが誤分類を引き起こす adversarial 例に対して脆弱であるという問題に対処すること。
• クリーン入力と adversarial 入力における saliency マップの内在的モデル挙動の違いを活用して、検出のロバスト性を向上させること。
• 攻撃強度やタイプの変化にわたって良好に一般化できる検出器を開発すること、特に強力な敵対的攻撃から弱い敵対的攻撃への一般化を重視すること。
• 既存の検出手法を回避するのを目的とした適応的で第二回目の攻撃に対して、検出器の耐性を評価すること。

提案手法

• 本手法は、元の画像とその adversarial な対応物の両方を用いてバイナリ分類器を学習し、入力特徴として勾配に基づく saliency マップを用いる。
• saliency マップは、モデル出力に対して入力画像に関する勾配として計算され、分類に最も寄与するピクセルを強調表示する。
• 検出器は、正しい saliency を持つクリーンサンプルと、歪んだ saliency を持つ adversarial サンプルを区別するように学習され、adversarial 例が誤った特徴注目を引き起こすことに着目している。
• MNIST、CIFAR-10、ImageNet のサブセットで、標準的なディープラーニングの学習を Adam 最適化子を用いて実施し、各データセットに応じてハイパーパramータを調整した。
• 複数の攻撃タイプ（FGSM、反復的 FGSM（l∞ および l2）、JSMA、C&W）を用い、摂動の上限（ε）を変化させながら評価した。
• 一般化性能のテストは、強力な敵対的攻撃（例：高 ε）で学習し、弱い攻撃（例：低 ε）で評価する、およびその逆の順序でも行った。

実験結果

リサーチクエスチョン

• RQ1 saliency マップは、DNN における誤った特徴注目を露呈することで、adversarial 変更を効果的に特定できるか？
• RQ2 強力な敵対的攻撃で学習した検出器は、弱い敵対的攻撃に対しても一般化できるか？ これは、ロバストネスと転送性を示唆する。
• RQ3 提案手法は、既存の検出メカニズムを狙った第二回目の攻撃に対して耐性を示せるか？
• RQ4 検出器は、MNIST、CIFAR-10、ImageNet といった多様なデータセットおよび攻撃タイプにおいて、どのように性能を発揮するか？

主な発見

• MNIST データセットでは、全テスト攻撃に対して検出精度が 100% を達成した。
• CIFAR-10 では、FGSM、反復的（l∞ および l2）、JSMA、C&W 攻撃の全範囲で 90% を超える精度を維持した。
• ImageNet サブセットでは、テスト精度が 89.83% に達し、全攻撃タイプおよび摂動レベルで 80% を超える検出性能を維持した。
• 強力な敵対的攻撃（例：高 ε）で学習した検出器は、弱い敵対的攻撃へ一般化がうまくいったが、逆は成立しなかった。これは、強力な一般化能力を裏付けた。
• 第二回目の攻撃に対しても検出器は効果的であり、既存の適応的攻撃は、本検出器を回避できる有効な adversarial を生成できなかった。
• saliency を用いた検出は、一般化性とロバストネスの観点で、標準的な N+1 検出法を上回った。特に、転送性と適応的攻撃の状況下で顕著であった。