[論文レビュー] Adversarial-Playground: A Visualization Suite Showing How Adversarial Examples Fool Deep Learning

Andrew P. Norton, Yanjun Qi|arXiv (Cornell University)|Aug 1, 2017

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）をだます adversarial examples がどのように機能するかを、3つの攻撃手法を用いてユーザーが生成・比較できる、ウェブベースのインタラクティブ可視化ツールである ADVERSARIAL-PLAYGROUND を紹介する。本システムはクライアント・サーバー型アーキテクチャと、JSMAアルゴリズムの高速版（FJSMA）を採用することで性能を向上させ、1サンプルあたり1.5秒の応答時間短縮を達成し、標準JSMAと比較して2倍の速度を実現しながらも、同等の回避率を維持する。

ABSTRACT

Recent studies have shown that attackers can force deep learning models to misclassify so-called "adversarial examples": maliciously generated images formed by making imperceptible modifications to pixel values. With growing interest in deep learning for security applications, it is important for security experts and users of machine learning to recognize how learning systems may be attacked. Due to the complex nature of deep learning, it is challenging to understand how deep models can be fooled by adversarial examples. Thus, we present a web-based visualization tool, Adversarial-Playground, to demonstrate the efficacy of common adversarial methods against a convolutional neural network (CNN) system. Adversarial-Playground is educational, modular and interactive. (1) It enables non-experts to compare examples visually and to understand why an adversarial example can fool a CNN-based image classifier. (2) It can help security experts explore more vulnerability of deep learning as a software module. (3) Building an interactive visualization is challenging in this domain due to the large feature space of image classification (generating adversarial examples is slow in general and visualizing images are costly). Through multiple novel design choices, our tool can provide fast and accurate responses to user requests. Empirically, we find that our client-server division strategy reduced the response time by an average of 1.5 seconds per sample. Our other innovation, a faster variant of JSMA evasion algorithm, empirically performed twice as fast as JSMA and yet maintains a comparable evasion rate. Project source code and data from our experiments available at: https://github.com/QData/AdversarialDNN-Playground

研究の動機と目的

• DNNの複雑さと人間が感知できない摂動のため、adversarial examples が深層学習モデルをどうだますのかを理解する課題に対処すること。
• 専門家でないユーザーが視覚的に adversarial examples を比較し、モデルの誤分類を理解できる、使いやすいインタラクティブプラットフォームを提供すること。
• ベンチマーキングフレームワークへのモジュラー統合を支援することで、セキュリティスペシャリストがDNNの脆弱性を調査できるようにすること。
• 画像の摂動とレンダリングにかかる計算コストの高さを考慮し、adversarial example の生成と可視化のパフォーマンスを最適化すること。
• 回避率を維持しつつ、実行時間を大幅に短縮する、JSMAアルゴリズムの高速版（FJSMA）を導入すること。

提案手法

• サーバーはモデル推論と adversarial 生成を処理し、クライントは可視化をレンダリング・表示することで、サーバーのI/O負荷を軽減し応答性を向上させるクライアント・サーバー型アーキテクチャを採用している。
• FGSM、PGD、JSMA の3つの adversarial 攻撃手法をサポートしており、ユーザーがパラメータを調整してオンデマンドで adversarial examples を生成できる。
• FJSMA（Fast JSMA）という新規最適化により、元のJSMAアルゴリズムを近似し、画像特徴のサブセット（k%）にのみ摂動を適用することで、計算時間を短縮しつつも、回避成功の妥当性を損なわない。
• モジュラー設計を採用しており、さまざまなDNNモデルやデータセット（例：MNIST、CIFAR、ImageNet）への統合が可能で、新たな攻撃アルゴリズムの拡張も容易である。
• サーバー側での画像生成とI/O操作を最小限に抑え、クライアント側でのレンダリングによりユーザーインタラクションの速度を向上させている。
• adversarial 成功度は、回避率（成功したサンプルの割合）と1サンプルあたりのウォールクロック時間で評価される。

実験結果

リサーチクエスチョン

• RQ1 非専門家が理解できるように、adversarial examples がなぜDNNを誤分類させるのかを効果的に可視化するにはどうすればよいか？
• RQ2 リアルタイムでインタラクティブな adversarial examples の可視化を実現するには、どのようなアーキテクチャ的・アルゴリズム的最適化が必要か？
• RQ3 JSMAアルゴリズムの高速近似版（FJSMA）は、実行時間を短縮しつつも、高い回避性能を維持できるか？
• RQ4 クライアント・サーバー分離戦略は、adversarial 可視化における応答時間とスケーラビリティにどのように影響を与えるか？
• RQ5 標準データセット上で、さまざまな攻撃手法（例：FGSM、PGD、JSMA）の成功確率と計算コストには、どの程度の差があるか？

主な発見

• クライアント・サーバー型アーキテクチャにより、モノリシック設計と比較して、1 adversarial サンプルあたり平均1.5秒の応答時間短縮が達成された。
• FJSMAは、元のJSMAアルゴリズムと比較して約2倍の速度を達成し、ϒ = 10% の条件下で、FJSMAの平均生成時間は0.415秒、JSMAは0.606秒であった。
• 全テストされたϒ値において、FJSMAはJSMAと同等の回避率を維持した。ϒ = 25% のとき、FJSMA（k = 30%）の回避率は0.901、JSMAは0.879であった。
• FJSMAのパrameter k（特徴空間の10%から30%）を増加させることで、回避率が向上し、一部のケースではJSMAを上回った。
• FJSMAの実行時間は、異なるk値間でほとんど変動がなく、これはMNISTにおいて特徴空間のサイズや探索戦略がパフォーマンスの主なボトルネックではないことを示唆している。
• モジュラーかつインタラクティブな設計により、非専門家による教育的利用と、セキュリティ研究者が脆弱性分析に活用する両方に効果的に対応できる。