[論文レビュー] MNIST-C: A Robustness Benchmark for Computer Vision

Norman Mu, Justin Gilmer|arXiv (Cornell University)|Jun 5, 2019

Adversarial Robustness in Machine Learning被引用数 52

ひとこと要約

MNIST-Cは MNIST のテストセットに 15 の画像劣化を導入して分布外（OOD）耐性を評価する。CNNは大幅に劣化することと、敵対的防御がMNIST-Cでの頑健性を損ねる可能性があることを示す。

ABSTRACT

We introduce the MNIST-C dataset, a comprehensive suite of 15 corruptions applied to the MNIST test set, for benchmarking out-of-distribution robustness in computer vision. Through several experiments and visualizations we demonstrate that our corruptions significantly degrade performance of state-of-the-art computer vision models while preserving the semantic content of the test images. In contrast to the popular notion of adversarial robustness, our model-agnostic corruptions do not seek worst-case performance but are instead designed to be broad and diverse, capturing multiple failure modes of modern models. In fact, we find that several previously published adversarial defenses significantly degrade robustness as measured by MNIST-C. We hope that our benchmark serves as a useful tool for future work in designing systems that are able to learn robust feature representations that capture the underlying semantics of the input.

研究の動機と目的

• クリーンな MNIST 分布を超える一般的な画像劣化に対する MNIST ベースのモデルの頑健性を動機付け、定量化する。
• Imagenet-C および CIFAR-10-C に触発され、MNIST に合わせて多様で非対向的な劣化スイートを提供する。
• 標準的な敵対的頑健性では検出されない故障モードを特定するため、複数のモデルと防御手法を評価する。
• データ拡張の限界と頑健な特徴表現の必要性についての洞察を提供する。

提案手法

• 初期の 31 の劣化集合から 15 個の劣化を選択して MNIST-C を構築する。
• 意味的内容を保持しつつ性能を低下させるように難易度レベルをパラメータ化する。
• MNIST-C 上で複数のアーキテクチャ（Conv1、Conv2、Conv3、カプセルネットワーク、ABS）を評価する。
• 平均精度と劣化/エラー指標（平均劣化誤差 CE、相対平均 CE など）を算出する。
• 敵対的学習済みモデルと比較して、OOD頑健性への転移（またはその欠如）を評価する。

実験結果

リサーチクエスチョン

• RQ1 MNIST-C の画像劣化は、クリーンな MNIST のパフォーマンスを超える標準的な CNN の頑健性ギャップを明らかにするか？
• RQ2 敵対的防御法は MNIST-C での頑健性にどう影響するか？
• RQ3 単純なデータ拡張で CNN の MNIST-C における性能と人間レベルの頑健性との差を埋められるか？
• RQ4 劣化データで直接訓練することは、OOD評価の頑健性を測定する妥当な指標か？

主な発見

• CNNは MNIST-C で大幅に劣化を示し、劣化全体で平均精度が約 91.21%、クリーンデータに対する相対的な誤差増加が大きい（人間レベルの不変性が保証されない）。
• 敵対的訓練モデルおよび代替アーキテクチャ（カプセルネットワーク、ABS）は、クリーンモデルに対して MNIST-C での誤差率が増加する。
• 単純なデータ拡張では MNIST-C を安易には解決できず、劣化データでの訓練は、保持外の劣化や全劣化で実施すると頑健性が人工的に向上する可能性がある。
• MNIST-C は敵対的頑健性指標では検出されない故障モードを捉えており、より広範な頑健性ベンチマークの必要性を示している。