[論文レビュー] Adversarial Examples in Modern Machine Learning: A Review

Rey Reza Wiyatno, Anqi Xu+2 more|arXiv (Cornell University)|Nov 13, 2019

Adversarial Robustness in Machine Learning参考文献 235被引用数 50

ひとこと要約

コンピュータビジョンにおける敵対的例の総合的な調査で、攻撃手法、防御、転移性、現実世界の考慮事項を詳述します。モデルが脆弱な理由と、攻撃と防御がどのように進化するかを説明します。

ABSTRACT

Recent research has found that many families of machine learning models are vulnerable to adversarial examples: inputs that are specifically designed to cause the target model to produce erroneous outputs. In this survey, we focus on machine learning models in the visual domain, where methods for generating and detecting such examples have been most extensively studied. We explore a variety of adversarial attack methods that apply to image-space content, real world adversarial attacks, adversarial defenses, and the transferability property of adversarial examples. We also discuss strengths and weaknesses of various methods of adversarial attack and defense. Our aim is to provide an extensive coverage of the field, furnishing the reader with an intuitive understanding of the mechanics of adversarial attack and defense mechanisms and enlarging the community of researchers studying this fundamental set of problems.

研究の動機と目的

• 視覚タスクの監視学習における敵対的例の全体像を要約する。
• 直感的な機構を持つ攻撃手法と防御手法の分類法（タクソノミー）を提供する。
• 敵対的脅威の実世界での側面と転移性の側面を強調する。

提案手法

• ターゲット設定および非ターゲット設定の設定を横断する敵対的攻撃手法の調査と taxonomy（whitebox および blackbox）
• 勾配マスキングとロバストネスの課題を含む、防御策とその弱点の議論。
• 実世界の敵対的シナリオ（物理的および非物理的）とそれらの含意の解説。
• 転移性の特性とそれに影響を与える要因の議論。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンモデルにおける敵対的攻撃の主なカテゴリーと機構は何か？
• RQ2 敵対的攻撃に対して提案された防御は何であり、どこで失敗するのか（例：勾配マスキング）？
• RQ3 転移性はモデル間・データセット間でどのように現れ、何がそれに影響を与えるのか？
• RQ4 敵対的脅威の実用的な実世界の考慮事項（物理世界の攻撃）とは何か？

主な発見

• 敵対的例は現代の視覚モデルのロバストネスのギャップを明らかにし、知覚的に類似しているが誤分類を引き起こすように構築することができる。
• 勾配ベース、最適化ベース、および blackbox アプローチを含む、さまざまな攻撃手法が存在し、それぞれ強さと転移性が異なる。
• 防御はしばしば勾配の難読化やマスキングに依拠するが、新しい攻撃戦略によって回避されることがあり、堅牢な解決策は依然として困難である。
• 同じデータで訓練されたモデル間で敵対的例の転移性が観察され、共通の脆弱性を示している。
• 現実世界の敵対的シナリオ（例：印刷物や物理的パッチ）は、デジタル入力を超える現実的な脅威をもたらす。