[論文レビュー] Assessing Threat of Adversarial Examples on Deep Neural Networks

Abigail Graese, Andras Rozsa+1 more|arXiv (Cornell University)|Oct 13, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用数 19

ひとこと要約

この論文は、敵対的サンプルが実用的な応用における深層ニューラルネットワークのセキュリティに真の脅威をもたらすかどうかを調査している。撮影プロセスのシミュレーション（例：クロップ、ぼかし、2値化）により、自然な変換が大多数の敵対的サンプル、特にFGSおよびFGVタイプを無効化することを示している。主な発見は、手書き数字分類（例：チェック処理）において、前処理や取得プロセスの影響により、敵対的サンプルは実際にはほとんど効果を示さないということである。

ABSTRACT

Deep neural networks are facing a potential security threat from adversarial examples, inputs that look normal but cause an incorrect classification by the deep neural network. For example, the proposed threat could result in hand-written digits on a scanned check being incorrectly classified but looking normal when humans see them. This research assesses the extent to which adversarial examples pose a security threat, when one considers the normal image acquisition process. This process is mimicked by simulating the transformations that normally occur in acquiring the image in a real world application, such as using a scanner to acquire digits for a check amount or using a camera in an autonomous car. These small transformations negate the effect of the carefully crafted perturbations of adversarial examples, resulting in a correct classification by the deep neural network. Thus just acquiring the image decreases the potential impact of the proposed security threat. We also show that the already widely used process of averaging over multiple crops neutralizes most adversarial examples. Normal preprocessing, such as text binarization, almost completely neutralizes adversarial examples. This is the first paper to show that for text driven classification, adversarial examples are an academic curiosity, not a security threat.

研究の動機と目的

• 敵対的サンプルが実世界の深層学習応用において真のセキュリティ脅威をもたらすかどうかを評価すること。
• ノイズ、ぼかし、クロップなどの自然な画像取得プロセスが、敵対的サンプルのロバスト性に与える影響を評価すること。
• 2値化やマルチクロップ統合といった広く使われる前処理技術が、敵対的摂動を無効化できるかどうかを調査すること。
• 自律走行車両やチェック処理システムなどの実際の展開環境において、敵対的サンプルが生存するかどうかを特定すること。
• 標準的な画像処理パイプライン下での脆弱性を示すことで、敵対的サンプルが深刻な脅威であるという認識に疑問を呈すること。

提案手法

• 敵対的サンプルに小規模な幾何的・光度的変換（例：シフト、回転、ぼかし、ノイズ）を適用することで、現実の画像取得をシミュレートした。
• FGSおよびFGV敵対的サンプルを用いてMNISTデータセット上で敵対的ロバスト性を評価し、変換後の分類精度をテストした。
• 最新のモデルで用いられるアンサンブル推論を模倣するため、最大5つのクロップを用いたマルチクロップ統合を適用し、敵対的サンプルが平均化によっても生存するかを評価した。
• 文書解析システムで一般的な前処理を模倣するため、画像の2値化を実施し、敵対的ロバスト性に与える影響をテストした。
• MNISTを超える一般化を評価するため、GoogLeNetを用いてImageNetのサブセットに対しても同じ変換パイプラインを適用した。
• 標準的な指標を用いた：変換前後における敵対的サンプルのトップ-1およびトップ-5精度を測定し、ロバスト性を定量化した。

実験結果

リサーチクエスチョン

• RQ1 ぼかし、ノイズ、シフトなどの一般的な画像取得変換が、実世界の応用においてどれほど敵対的サンプルを無効化するか。
• RQ2 2値化のような標準的な前処理技術が、テキストベースの分類タスクにおいて敵対的サンプルの脅威を完全に排除できるか。
• RQ3 最新のモデルで一般的なマルチクロップ統合が、敵対的摂動に対して内在的なロバスト性を提供できるか。
• RQ4 自然な画像変換は、ImageNetのような大規模データセットにおいて、敵対的サンプルの成功をどれほど維持できるか。
• RQ5 自然な画像取得プロセスがある中で、どのような条件下で敵対的サンプルがまだ脅威を残す可能性があるか。

主な発見

• ぼかし、ノイズ、小規模なシフトなどの画像取得変換が、敵対的サンプルの成功率を顕著に低下させ、大多数を非敵対的へと変換した。
• 入力画像の2値化により、MNISTでほぼ完璧な性能（クリーンテストセットの精度と同等）を達成し、視野集中法を20%の正答率上回った。
• 5つのクロップを用いたマルチクロップ統合により、敵対的サンプルの大部分が是正された。これは、アンサンブル推論が本質的に防御を提供することを示唆している。
• ImageNetのサブセットでは、変換パイプライン適用後、FGS敵対的サンプルの63%がトップ-1精度で正しく分類された。トップ-5では89.95%の正答率を達成した。
• 2値化とクロップの組み合わせにより、敵対的サンプルの成功率はほぼ無視できる水準にまで低下した。これは、チェック処理のような文書ベースのシステムでは敵対的サンプルが実用的脅威ではないことを示している。
• 自律走行車両システム（複数フレームで標識が取得される想定）では、敵対的サンプルが生存する確率は100万分の1未満であり、フレーム単位の正答率が90%であると仮定した場合に該当する。