[論文レビュー] Adversarial Examples: Attacks and Defenses for Deep Learning

Xiaoyong Yuan, Pan He+2 more|arXiv (Cornell University)|Dec 19, 2017

Adversarial Robustness in Machine Learning参考文献 133被引用数 222

ひとこと要約

本調査は深層学習における敵対的な例をレビューし、攻撃手法の分類学を提案し、応用と防御を概説し、主要な課題と将来の方向性を整理する。

ABSTRACT

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial examples are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples and explore the challenges and the potential solutions.

研究の動機と目的

• 深層学習における敵対的な例を生成する手法を系統的に分析する。
• 脅威モデル、摂動、ベンチマークに基づく攻撃手法の分類学を提案する。
• さまざまな領域における敵対的な例の応用を調査し、対策を論じる。
• 頑健性と転移性に関する主要な課題を特定し、潜在的な解決策を提案する。

提案手法

• 脅威モデル、摂動、ベンチマークの三軸に沿った敵対的攻撃手法の分類学。
• L-BFGS、FGSM、BIM、JSMA、DeepFool、CPPN EA、C&W攻撃などの代表的な攻撃手法のレビュー。
• 摂動のタイプ（個別 vs ユニバーサル）とノルム（l0、l1、l2、l∞）を、知覚的配慮とともに議論する。
• 白箱対黒箱、ターゲット型対非ターゲット型、ワンタイム対反復攻撃などを含む脅威モデルの分析。
• 標準データセット（MNIST、CIFAR-10、ImageNet）と一般的な被害者モデルを通じた評価の考慮。
• 頑健性と転移性の評価における対策と課題の概要。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークに対して敵対的な例を生成する主要な攻撃戦略は何か？
• RQ2 比較と防御設計を支援するために、敵対的攻撃をどのように分類すべきか？
• RQ3 最も効果的な防御は何で、どの脅威モデル下でそれらは失敗するのか？
• RQ4 敵対的な例の頑健性評価と転移性における主要な課題は何か、そしてそれに対処する方向性は何か？

主な発見

• 敵対的な例は、さまざまなタスクとモデルにおいて知覚できない摂動で深層ネットワークを誤導できる。
• 正式な分類学は攻撃を比較するのに役立ち、脅威モデル、摂動、ベンチマーク全体で防御設計に情報を提供する。
• 複数の攻撃手法（例：L-BFGS、FGSM、BIM、JSMA、DeepFool、C&W）は、摂動の大きさと成功率の間でさまざまなトレードオフを示す。
• 白箱と黒箱設定の間の転移は、敵対的な例の転移性特性に依存し、現実世界のサービスのセキュリティに影響を与える。
• 適応型攻撃によって防御は回避され得るため、堅牢な評価フレームワークと継続的な研究の必要性を強調する。
• 調査は、転移性、敵対的な例の存在、および堅牢な評価指標など、主要な未解決課題を特定している。