[論文レビュー] Benchmarking Neural Network Robustness to Common Corruptions and Perturbations

Dan Hendrycks, Thomas G. Dietterich|arXiv (Cornell University)|Mar 28, 2019

Adversarial Robustness in Machine Learning被引用数 785

ひとこと要約

ImageNet-C と ImageNet-P ベンチマークを導入し、一般的な劣化と撹乱に対する画像分類器の頑健性を評価し、アーキテクチャを比較し、クリーン精度を超える頑健性の向上を示唆する。

ABSTRACT

In this paper we establish rigorous benchmarks for image classifier robustness. Our first benchmark, ImageNet-C, standardizes and expands the corruption robustness topic, while showing which classifiers are preferable in safety-critical applications. Then we propose a new dataset called ImageNet-P which enables researchers to benchmark a classifier's robustness to common perturbations. Unlike recent robustness research, this benchmark evaluates performance on common corruptions and perturbations not worst-case adversarial perturbations. We find that there are negligible changes in relative corruption robustness from AlexNet classifiers to ResNet classifiers. Afterward we discover ways to enhance corruption and perturbation robustness. We even find that a bypassed adversarial defense provides substantial common perturbation robustness. Together our benchmarks may aid future work toward networks that robustly generalize.

研究の動機と目的

• 敵対的事例を超える頑健性ベンチマークの必要性を動機づける。
• 画像分類における劣化耐性と撹乱耐性を定義する。
• ImageNet-C（劣化）と ImageNet-P（撹乱）データセットを作成・公開する。
• 劣化・撹乱耐性を定量化する指標と、アーキテクチャ間の基準結果を提案する。
• 頑健性を向上させる手法を示し、敵対的防御との相互作用を示す。

提案手法

• ImageNet バリデーションデータ上で、75 の劣化を5レベルの深刻度で平均した劣化耐性を定義する。
• 撹乱列（ImageNet-P）と、フリップ率や Top-5 距離などの指標で撹乱耐性を定義する。
• 15 種類の劣化を4カテゴリ（ノイズ、ぼかし、気象、デジタル）に分け、5 レベルの深刻度を設定した ImageNet-C を導入する。
• 選択された撹乱タイプにわたる時間的に配列された撹乱と評価指標を備えた ImageNet-P を導入する。
• 複数のアーキテクチャ（例: AlexNet、SqueezeNet、VGG、ResNet、DenseNet、ResNeXt）を評価し、頑健性の傾向を評価する。
• CLAHE、マルチスケールネットワーク、より大きな特徴統合、スタイライズ拡張、ALP などの頑健性向上を検討し、敵対的防御との相互作用を報告する。

実験結果

リサーチクエスチョン

• RQ1 一般的な劣化と撹乱は、アーキテクチャ間で画像分類器のパフォーマンスにどのように影響するか？
• RQ2 クリーン精度の向上は、劣化や撹乱への頑健性に翻訳されるか？
• RQ3 特定のアーキテクチャや前処理の変更は、精度を犠牲にせず劣化・撹乱耐性を改善できるか？
• RQ4 敵対防御と一般的な撹乱への頑健性にはどのような関係があるか？
• RQ5 どのベースライン指標が頑健性を最も適切に捉え、モデル間の公正な比較を可能にするか？

主な発見

アーキテクチャ	クリーン誤り	mCE	Gaussian Noise	Shot Noise	Impulse Noise	Defocus Blur	Frosted Glass Blur	Motion Blur	Zoom Blur	Snow	Frost	Fog	Bright	Contrast	Elastic	Pixelation	JPEG
AlexNet	43.5	100.0	100	100	100	100	100	100	100	100	100	100	100	100	100	100	100
SqueezeNet	41.8	104.4	107	106	105	100	103	101	100	101	103	97	97	98	106	109	134
VGG-11	31.0	93.5	97	97	100	92	99	93	91	92	91	84	75	86	97	107	100
VGG-19	27.6	88.9	89	91	95	89	98	90	90	89	86	75	68	80	97	102	94
VGG-19+BN	25.8	81.6	82	83	88	82	94	84	86	80	78	69	61	74	94	85	83
ResNet-18	30.2	84.7	87	88	91	84	91	87	89	86	84	78	69	78	90	80	85
ResNet-50	23.9	76.7	80	82	83	75	89	78	80	78	75	66	57	71	85	77	77

• AlexNet から ResNet へのアーキテクチャの進歩は、劣化耐性の向上を限定的にしかもたらさず（mCE の改善は控えめで、クリーン精度に結びつくことが多い）。
• 撹乱耐性は十分に検討されておらず、強力なモデルでも劣化でむしろ劣化することがある；トップ-5 の予測は一般的な撹乱下で不安定になり得る。
• マルチスケールおよび特徴を集約するアーキテクチャ（DenseNets、ResNeXts、Multigrid）は、素の ResNet より劣化耐性で顕著な向上を示す。
• より大規模でモノリシックなモデルは、純粋な精度向上以上にノイズや歪みに対する頑健性を改善する可能性がある。
• CLAHE 前処理は劣化耐性を modest に改善する；スタイライズベースの拡張と ALP 防御も一般的な撹乱への頑健性を高める可能性がある。
• 頑健性の改善は、アーキテクチャの変更とターゲットを絞った前処理/拡張の両方から生じうる。特定の敵対防御はクロス頑健性の利益を提供する場合がある。