[論文レビュー] Adversarial Examples Are Not Bugs, They Are Features

Andrew Ilyas, Shibani Santurkar+4 more|arXiv (Cornell University)|May 6, 2019

Adversarial Robustness in Machine Learning参考文献 61被引用数 395

ひとこと要約

本論文では、敵対的脆弱性はデータにおける非頑健で高度に予測的な特徴に起因することを主張し、頑健特徴と非頑健特徴をデータセットと理論を通じて分離・操作できることを示す。

ABSTRACT

Adversarial examples have attracted significant attention in machine learning, but the reasons for their existence and pervasiveness remain unclear. We demonstrate that adversarial examples can be directly attributed to the presence of non-robust features: features derived from patterns in the data distribution that are highly predictive, yet brittle and incomprehensible to humans. After capturing these features within a theoretical framework, we establish their widespread existence in standard datasets. Finally, we present a simple setting where we can rigorously tie the phenomena we observe in practice to a misalignment between the (human-specified) notion of robustness and the inherent geometry of the data.

研究の動機と目的

• 標準的な教師あり学習における敵対的脆弱性は、非頑健だが予測力のある特徴に起因するという新しい視点を提起する。
• 脆弱性を分析するための正式な頑健/非頑健特徴の枠組みを構築する。
• データセットの構築と実証的デモンストレーションを通じて頑健特徴と非頑健特徴を分離する。
• データと摂動指標の不整合を介して頑健性を研究する理論モデルを提供する。

提案手法

• データ分布上で、rho-有用、gamma-頑健に有用、および有用な非頑健特徴を定義する。
• 訓練中の頑健性をモデル化するために敵対的損失（摂動の最大化）を用いる。
• 頑健モデルまたは標準モデルが用いる特徴に制限することにより、頑健化データセットと非頑健化データセットを構築する。
• 頑健化データ上での標準的な訓練が、元のデータに対して頑健な精度をもたらすことを示す。
• 敵対的に摺動されたラベル付きデータを作成することで、非頑健特徴だけでも標準的な一般化を支えることを示す。
• 敵対的摂動下での頑健性を分析するためのガウス混合モデルに基づく理論的枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 標準データセットで頑健特徴と非頑健特徴を明示的に分離できるか。
• RQ2 データセットを頑健特徴に制限することで、標準的な訓練による頑健な学習が可能になるか。
• RQ3 非頑健特徴だけで標準的な一般化は十分か、そしてこれが敵対的転移可能性とどう関連するか。
• RQ4 敵対的訓練はデータの幾何学と特徴指標をどう変え、頑健性を生み出すか。

主な発見

Source Dataset	Dataset	CIFAR-10	ImageNet R
D	D	95.3%	96.6%
Dhat_rand	Dhat_rand	63.3%	87.9%
Dhat_det	Dhat_det	43.7%	64.4%

• 標準訓練が利用する高度に予測力を持つが非頑健な特徴が存在し、敵対的脆弱性を引き起こす。
• 頑健化データセットによって非頑健特徴を除去すると、標準訓練が元のテストセットで頑健な性能を達成できる。
• 非頑健特徴だけで標準的な分類が成り立つことがあり、人間には入力が誤ラベルに見える場合でもそうなる。
• 敵対的転移可能性は、モデルがアーキテクチャを超えて同様の非頑健特徴を学習することによって説明できる。
• データ駆動の指標と敵の摂動指標の不整合から頑健性が生じることをガウス基盤の理論モデルが示す。