[論文レビュー] DAmageNet: A Universal Adversarial Dataset

Sizhe Chen, Xiaolin Huang+2 more|arXiv (Cornell University)|Dec 16, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用数 7

ひとこと要約

DAmageNetは、ImageNetの画像から最小限の摂動（平均RMS偏差3.8）で作成された、96,020個の高転送性を持つ普遍的 adversarial サンプルを含む、最初の普遍的 adversarial データセットです。これらのサンプルは、ターゲットモデルのクエリを一切行わず、多様な事前学習済みモデルで最大90％の誤分類率を達成でき、ゼロクエリブラックボックス攻撃を可能にするとともに、深層ニューラルネットワークの頑健性の評価・向上のベンチマークとして機能します。

ABSTRACT

It is now well known that deep neural networks (DNNs) are vulnerable to adversarial attack. Adversarial samples are similar to the clean ones, but are able to cheat the attacked DNN to produce incorrect predictions in high confidence. But most of the existing adversarial attacks have high success rate only when the information of the attacked DNN is well-known or could be estimated by massive queries. A promising way is to generate adversarial samples with high transferability. By this way, we generate 96020 transferable adversarial samples from original ones in ImageNet. The average difference, measured by root means squared deviation, is only around 3.8 on average. However, the adversarial samples are misclassified by various models with an error rate up to 90\%. Since the images are generated independently with the attacked DNNs, this is essentially zero-query adversarial attack. We call the dataset \emph{DAmageNet}, which is the first universal adversarial dataset that beats many models trained in ImageNet. By finding the drawbacks, DAmageNet could serve as a benchmark to study and improve robustness of DNNs. DAmageNet could be downloaded in http://www.pami.sjtu.edu.cn/Show/56/122.

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）の adversarial 攻撃に対する脆弱性に対処するため、クエリを一切必要としない普遍的ゼロクエリ攻撃ベンチマークを構築すること。
• ImageNetで学習された多様なDNNアーキテクチャ間で高い転送性を持つ adversarial サンプルを生成すること。
• ターゲットモデルのアクセスやクエリを必要とせず、頑健性の評価や向上が可能なデータセットを提供すること。
• 勾配推定やモデルクエリアクセスなしで、高性能なブラックボックス攻撃が可能であることを示すこと。

提案手法

• ターゲットDNNのアーキテクチャやパラメータにアクセスしない、転送性を最適化するアプローチを用いて adversarial サンプルを生成する。
• 複数のDNNに一般化する摂動を生成するために、代替モデル（surrogate model）を活用する。
• L2ノルム（RMS偏差 ≈ 3.8）を用いて摂動を制約し、元のImageNet画像との視覚的類似性を維持する。
• 攻撃はゼロクエリ：サンプル生成中にターゲットモデルへのクエリは一切行わず、代替モデルからの転送性に依存する。
• 1,000個のImageNetクラスからサンプルを生成し、各クラス約100個の adversarial サンプルを生成し、合計96,020個のサンプルを構成する。
• クラス固有のフォルダとインデックス付きファイル名を用いてデータセットを構造化し、元のImageNet画像への直接マッピングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ターゲットモデルのクエリなしに、多様なDNN間で高い転送性を持つ adversarial サンプルを生成できるか？
• RQ2 普遍的 adversarial 摂動戦略を用いたゼロクエリブラックボックス設定で、達成可能な最大の攻撃成功率は何か？
• RQ3 複数のモデルで高い攻撃成功率を維持しつつ、摂動はどの程度小さくできるか？
• RQ4 1つの adversarial サンプルセットが、複数の最先端ImageNetモデルの頑健性の弱みを効果的に露呈できるか？
• RQ5 adversarial 例の転送性は、普遍的かつモデルに依存しない攻撃をどの程度可能にするか？

主な発見

• DAmageNetには96,020個の adversarial サンプルが含まれており、それぞれの平均L2摂動（RMS偏差）は3.8であり、クリーンなImageNet画像と視覚的に区別がつかない。
• adversarial サンプルは、VGG19、NASNetLarge、InceptionV4、Xception、DenseNet121など複数のモデルでトップ1誤り率が最大100％に達する。
• ResNet152とDenseNet169では、それぞれ81.8％および94.3％の誤り率を示し、強力なクロスモデル転送性を確認した。
• ResNet50では92.5％、InceptionV3では96.7％の攻撃成功率を達成し、アーキテクチャ間での高い一般化性を示した。
• サンプル生成時にターゲットモデルに関する情報やクエリを一切使用しないため、ゼロクエリブラックボックス攻撃が可能である。
• DAmageNetは、クエリフリーで転送可能な adversarial 例を用いて、クロスモデル頑健性を体系的にベンチマークする最初の普遍的 adversarial データセットである。