[論文レビュー] Potential adversarial samples for white-box attacks

Amir Nazemi, Paul Fieguth|arXiv (Cornell University)|Dec 13, 2019

Adversarial Robustness in Machine Learning参考文献 16被引用数 16

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（DCNN）特徴量上で訓練されたSVMのサポートベクトルを活用することで、低コストで白箱方式で潜在的な adversarial サンプルを同定する手法を提案する。この手法により、iFGSMとDeepFoolの adversarial 例のそれぞれ82%および92%をカバーしつつ、テストデータの61%のみを候補として使用することで、adversarial 攻撃の探索空間を顕著に縮小する。

ABSTRACT

Deep convolutional neural networks can be highly vulnerable to small perturbations of their inputs, potentially a major issue or limitation on system robustness when using deep networks as classifiers. In this paper we propose a low-cost method to explore marginal sample data near trained classifier decision boundaries, thus identifying potential adversarial samples. By finding such adversarial samples it is possible to reduce the search space of adversarial attack algorithms while keeping a reasonable successful perturbation rate. In our developed strategy, the potential adversarial samples represent only 61% of the test data, but in fact cover more than 82% of the adversarial samples produced by iFGSM and 92% of the adversarial samples successfully perturbed by DeepFool on CIFAR10.

研究の動機と目的

• adversarial 攻撃アルゴリズムの計算コストを、最も脆弱なサンプルに限定された探索空間にすることで低減すること。
• 小さな摂動が誤分類を引き起こしやすい、意思決定境界に近いサンプルを同定すること。
• SVMサポートベクトルを介して同定された高リスクサンプルに注力することで、モデルのロバスト性を向上させること。
• iFGSMおよびDeepFoolによって生成された adversarial サンプルをカバーするSVMベースの候補選択の有効性を評価すること。
• SVMによって同定された境界に近いサンプルが、白箱攻撃シナリオにおける高リスク入力の代理として機能できることを示すこと。

提案手法

• 事前学習済みDCNN（例：VGG19またはLeNet）から抽出した特徴量上でSVMを訓練し、意思決定境界に近いサンプルを同定する。
• SVMのサポートベクトルを、意思決定境界に最も近い点であるため、潜在的な adversarial サンプルの代理として使用する。
• 後続の adversarial 攻撃アルゴリズムの探索空間を、サポートベクトルのみに制限する。
• iFGSMおよびDeepFool攻撃を縮小されたセットに対して適用し、カバレッジと成功確率を評価する。
• SVMの正則化パrameter Cを調整することで、サポートベクトルの数を制御し、カバレッジと探索空間サイズのバランスを取る。
• iFGSMではL∞-ノルム制限付き摂動、DeepFoolでは適応的ステップサイズを用いて、比較用の adversarial 例を生成する。

実験結果

リサーチクエスチョン

• RQ1 SVMサポートベクトルは、学習済みDCNNの意思決定境界に近いサンプルを効果的に同定できるか？
• RQ2 SVMベースの候補セットは、adversarial 攻撃の探索空間をどの程度縮小しつつ、成功する adversarial サンプルの高いカバレッジを維持できるか？
• RQ3 SVMサポートベクトルに制限された場合、iFGSMとDeepFoolの adversarial サンプルカバレッジにどのような差が生じるか？
• RQ4 Cによって制御されるサポートベクトルの数は、異なる攻撃パrameter下で adversarial サンプルのカバレッジと相関するか？
• RQ5 この手法を、高リスクサンプルに注力した再訓練を通じて adversarial ロバスト性の向上に応用できるか？

主な発見

• 提案手法は、CIFAR10テストセットの61%にまで探索空間を縮小しつつ、DeepFoolによって生成された adversarial サンプルの92%をカバーする。
• iFGSMでは、ε = 0.01という小さな摂動サイズでも、CIFAR10で82%の adversarial サンプルカバレッジを達成する。
• ε = 0.05の場合、iFGSMは4,819個の adversarial サンプルを生成し、そのうち4,291個がC = 0.035のSVMベース候補セットにカバーされる。
• DeepFoolのカバレッジは反復回数やδ値が大きくなると向上するが、δ = 0.01でも、3,667個中3,376個の adversarial サンプルが候補セットにカバーされる。
• 本手法はMNISTおよびCIFAR10の両方で優れた性能を示し、より複雑な特徴空間と深いVGG19アーキテクチャのおかげで、CIFAR10でのカバレッジが高くなる。
• Cが小さくなるほどサポートベクトルの数は増加するが、C = 500のような少ないベクトル数でもカバレッジは高いまま維持される。これは、効率性とスケーラビリティの優位性を示している。