[論文レビュー] Natural Adversarial Examples

Dan Hendrycks, Kevin Zhao+3 more|arXiv (Cornell University)|Jul 16, 2019

Adversarial Robustness in Machine Learning参考文献 77被引用数 193

ひとこと要約

本論文は実世界の adversarially フィルタリングされたデータセットである ImageNet-A と ImageNet-O を導入し、ImageNet モデルの頑健性ギャップが大きいこと、単純なデータ拡張ではなくアーキテクチャの変更が必要であることを示している。これらの難しい例はトランスフォーマーを含むモデル間へ転移することができ、共通の弱点が強調されている。

ABSTRACT

We introduce two challenging datasets that reliably cause machine learning model performance to substantially degrade. The datasets are collected with a simple adversarial filtration technique to create datasets with limited spurious cues. Our datasets' real-world, unmodified examples transfer to various unseen models reliably, demonstrating that computer vision models have shared weaknesses. The first dataset is called ImageNet-A and is like the ImageNet test set, but it is far more challenging for existing models. We also curate an adversarial out-of-distribution detection dataset called ImageNet-O, which is the first out-of-distribution detection dataset created for ImageNet models. On ImageNet-A a DenseNet-121 obtains around 2% accuracy, an accuracy drop of approximately 90%, and its out-of-distribution detection performance on ImageNet-O is near random chance levels. We find that existing data augmentation techniques hardly boost performance, and using other public training datasets provides improvements that are limited. However, we find that improvements to computer vision architectures provide a promising path towards robust models.

研究の動機と目的

• 自然な現実世界の adversarial な例を用いた distribution shift 下での頑健性評価を動機づける。
• 偽の手掛かりへの依存を減らす挑戦的なテストセット（ImageNet-A と ImageNet-O）を作成する。
• データ拡張、追加データ、またはアーキテクチャの変更がこれらのシフトに対する頑健性を改善するか評価する。
• トランスフォーマーを含むモデルファミリー間で改善が転移することを示し、有望な方向性を特定する。

提案手法

• ImageNet-A を作成するための adversarial 奉仕の除外：ResNet-50 が正しく分類した画像を除外し、低信頼度の誤分類を選択する。
• ImageNet-O の adversarial 奉仕：ResNet-50 が高信頼度で誤分類する ImageNet-22K の画像を「インディスティュレーション」としてフィルタリングする。
• 両データセットの単一ラベル・高品質画像を確保するための手動キュレーション。
• ImageNet-A の top-1 精度で頑健性を評価、ImageNet-O による AUPR でアウト・オブ・ディストリビューション検出を評価。
• 標準的なデータ拡張、事前学習、アーキテクチャ変更とのベースライン比較。
• ResNet 系、ResNeXt、SE ブロック、Res2Net、ビジョン・トランスフォーマー（DeiT）を含むクロスアーキテクチャ評価。

実験結果

リサーチクエスチョン

• RQ1 自然発生的な adversarial によってフィルタリングされた画像は、アーキテクチャを横断して ImageNet-分類器にどのような影響を与えるのか？
• RQ2 標準的なデータ拡張や追加データは、ImageNet-A および ImageNet-O の性能を意味的に改善するか？
• RQ3 アーキテクチャの変更（例えば幅広いネットワーク、Res2Net、自己注意機構）は、これらのデータセットに対する頑健性と OOD 検出を有意に高めるか？
• RQ4 adversarial にフィルタリングされた例は、非畳み込みアーキテクチャ（視覚変換器など）を含む unseen モデルへ転移するか？
• RQ5 ImageNet-A の例は、現在の CNN のどの失敗モードと非意味的手掛かりへの依存を露呈しているのか？

主な発見

• ImageNet-A は DenseNet-121 で約2% の精度を引き起こし、ImageNet-1K の通常の性能と比較して約90% の低下を示す。
• ImageNet-O はアウト・オブ・ディストリビューション検出を目的とし、ベースライン検出器で OOD 異常スコアが一般にランダム/偶然レベルとなる。
• データ拡張のみでは控えめな効果しかなく（さまざまな手法で一桁の増分、最大で一部の文脈で ~7-8%）、およそ10倍のデータを用いても収益は逓減する。
• ImageNet-21K での事前学習を経て ImageNet-1K でファインチューニングすると、ImageNet-A の精度は 11.41% に、ImageNet-O の AUPR は 21.86% に上昇する（対して基準の ImageNet-A は ~2.17%）。
• アーキテクチャの変更は、データ拡張や追加データよりも大きな頑健性の向上をもたらす（例：ResNet-50 から ResNet-152 へ：ImageNet-A が 2.17% から 6.1% に、ResNeXt-50(32×4d) から高容量の変種へ；Res2Net と自己注意変種は ImageNet-A 精度と ImageNet-O AUPR の両方を大幅に改善； Vision Transformers（DeiT）もこれらのタスクへの転移を示す）。
• 自己注意とマルチスケール/バックボーンの革新（例：Res2Net v1b、SE ブロック）は ImageNet-A および ImageNet-O に顕著な改善をもたらし、より大きなモデルでより大きな利益を生む（例：DeiT-base が ImageNet-A で 28.2%、ImageNet の AUPR が 24.8% へ）。