[論文レビュー] Detecting Adversarial Examples in Convolutional Neural Networks

Stefanos Pertigkiozoglou, Petros Maragos|arXiv (Cornell University)|Dec 8, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 11

ひとこと要約

本稿では、畳み込みニューラルネットワークにおける adversarial examples の検出のための3つの新規手法を提案する：(1) 最終層の正則化に基づく adversarial retraining、(2) 隠れ層出力のヒストグラムを用いた SVM 分類、(3) 忽視された入力特徴を検出するための残差画像分析。これらの手法の組み合わせにより、MNIST において、BIM 攻撃で 98.9% の精度と 92.7% の再現率を達成し、DeepFool 攻撃では AUC が 99.3% に達する。

ABSTRACT

The great success of convolutional neural networks has caused a massive spread of the use of such models in a large variety of Computer Vision applications. However, these models are vulnerable to certain inputs, the adversarial examples, which although are not easily perceived by humans, they can lead a neural network to produce faulty results. This paper focuses on the detection of adversarial examples, which are created for convolutional neural networks that perform image classification. We propose three methods for detecting possible adversarial examples and after we analyze and compare their performance, we combine their best aspects to develop an even more robust approach. The first proposed method is based on the regularization of the feature vector that the neural network produces as output. The second method detects adversarial examples by using histograms, which are created from the outputs of the hidden layers of the neural network. These histograms create a feature vector which is used as the input of an SVM classifier, which classifies the original input either as an adversarial or as a real input. Finally, for the third method we introduce the concept of the residual image, which contains information about the parts of the input pattern that are ignored by the neural network. This method aims at the detection of possible adversarial examples, by using the residual image and reinforcing the parts of the input pattern that are ignored by the neural network. Each one of these methods has some novelties and by combining them we can further improve the detection results. For the proposed methods and their combination, we present the results of detecting adversarial examples on the MNIST dataset. The combination of the proposed methods offers some improvements over similar state of the art approaches.

研究の動機と目的

• 人間には見えないが誤分類を引き起こす adversarial examples に対して、訓練済みの CNN が脆弱であるという問題に取り組む。
• ネットワーク全体の再トレーニングを必要としない後処理検出に焦点を当てた検出手法の開発。
• 複数の補完的検出メカニズムを組み合わせることで、検出のロバスト性を向上させる。
• BIM や DeepFool などの標準的な adversarial 攻撃を用いて、MNIST データセット上で提案手法を評価する。
• 複数の検出手法を組み合わせることで、個々のアプローチを上回る精度と再現率を達成できることを示す。

提案手法

• 最初の手法は、ネットワークからの特徴ベクトル出力の正則化を用いて最終層での adversarial retraining を実行し、adversarial パーティクルへの耐性を向上させる。
• 2番目の手法は、隠れ層出力の絶対値のヒストグラムから特徴ベクトルを構築し、それを SVM を用いて本物の入力と adversarial 入力を区別する。
• 3番目の手法は、入力とそのネットワーク処理後の差分として定義される残差画像を導入し、分類器が無視した特徴を特定する。
• 残差画像は、誤分類を引き起こす adversarial examples を検出できるように、入力を正しい分類を強化する方向に摂動させるために使用される。
• 3つの手法は論理演算（AND、OR、多数決投票）を用いて組み合わせられ、精度と再現率のバランスをとる。特に、ヒストグラム検出と少なくとも1つの他の手法を組み合わせたハイブリッド戦略が採用される。
• 残差画像手法にはしきい値ベースの意思決定ルールが適用され、ROC 曲線と精度-再現率曲線は、攻撃タイプごとにこのしきい値を変化させることで生成される。

実験結果

リサーチクエスチョン

• RQ1 最終層の特徴ベクトルの正則化は、ネットワーク全体の再トレーニングを伴わずに adversarial example 検出を改善できるか？
• RQ2 隠れ層出力のヒストグラム表現は、SVM 分類器を用いて adversarial 入力と本物の入力を効果的に区別できるか？
• RQ3 ネットワークが無視した特徴を捉える残差画像は、adversarial examples 検出の信頼できるシグナルとして機能するか？
• RQ4 複数の検出手法を組み合わせることで、精度と再現率の両面で全体的な検出性能が向上するか？
• RQ5 ヒストグラム検出と少なくとも1つの他の手法を組み合わせたハイブリッド検出戦略は、再現率を犠牲にせずに高い精度を達成できるか？

主な発見

• 論理積（T₁）を用いた3手法の組み合わせは、BIM 攻撃で 99.5% の精度と 60.1% の再現率を達成し、検出に高い信頼性があるがカバー範囲は限定的である。
• 論理和（T₂）を用いた組み合わせは、BIM 攻撃で 83.6% の精度と 99.4% の再現率を達成し、高い感度を示すが誤検出が多くなる。
• 多数決投票（T₃）による組み合わせは、BIM 攻撃で 95.5% の精度と 91.8% の再現率、DeepFool 攻撃で 96.2% の精度と 96.25% の再現率を達成し、両方の指標を効果的にバランスさせる。
• ハイブリッド戦略 T₄ = H ∧ (R ∨ I) は、BIM 攻撃で 98.8% の精度と 89.6% の再現率、DeepFool 攻撃で 98.9% の精度と 92.7% の再現率を達成し、個々の手法や多くの最先端手法を上回る性能を示す。
• ROC AUC は BIM 攻撃で 98.7%、DeepFool 攻撃で 99.3% に達し、さまざまなしきい値においても優れた全体的な検出性能を示している。
• 精度-再現率曲線と ROC 曲線は、残差画像手法のしきい値を調整することで、検出性能が頑健かつ調整可能であることを示している。