[논문 리뷰] MNIST-C: A Robustness Benchmark for Computer Vision

Norman Mu, Justin Gilmer|arXiv (Cornell University)|2019. 06. 05.

Adversarial Robustness in Machine Learning인용 수 52

한 줄 요약

MNIST-C는 MNIST 테스트 세트에 15가지 이미지 왜곡을 도입하여 분포 외 강건성(OOD) 벤치마크를 제공하고, CNN의 성능이 크게 하락하며 적대적 방어가 MNIST-C에서 강건성을 해칠 수 있음을 보여준다.

ABSTRACT

We introduce the MNIST-C dataset, a comprehensive suite of 15 corruptions applied to the MNIST test set, for benchmarking out-of-distribution robustness in computer vision. Through several experiments and visualizations we demonstrate that our corruptions significantly degrade performance of state-of-the-art computer vision models while preserving the semantic content of the test images. In contrast to the popular notion of adversarial robustness, our model-agnostic corruptions do not seek worst-case performance but are instead designed to be broad and diverse, capturing multiple failure modes of modern models. In fact, we find that several previously published adversarial defenses significantly degrade robustness as measured by MNIST-C. We hope that our benchmark serves as a useful tool for future work in designing systems that are able to learn robust feature representations that capture the underlying semantics of the input.

연구 동기 및 목표

• 깨끗한 MNIST 분포를 넘어 일반적인 이미지 오염에 대한 MNIST 기반 모델의 강건성을 동기 부여하고 정량화한다.
• Imagenet-C와 CIFAR-10-C에서 영감을 받아 MNIST에 맞춘 다양하고 비적대적 오염 체계를 제공한다.
• 표준 적대적 강건성으로는 감지되지 않는 실패 모드를 식별하기 위해 여러 모델과 방어 방법을 평가한다.
• 데이터 증강의 한계와 견고한 특징 표현의 필요성에 대한 시사점을 제공한다.

제안 방법

• 초기 31개의 오염 중에서 15개를 선택하여 MNIST-C를 구성한다.
• 의미 내용을 보존하면서 성능을 저하시키도록 강도 수준을 매개변수화한다.
• MNIST-C에서 여러 아키텍처(Conv1, Conv2, Conv3, capsule network, ABS)를 평가한다.
• 평균 정확도와 평균 오염 오차(CE) 및 상대 평균 CE와 같은 오염/오류 지표를 계산한다.
• OOD 강건성으로의 전이 유무를 평가하기 위해 적대적으로 학습된 모델과 비교한다.

실험 결과

연구 질문

• RQ1 MNIST-C의 이미지 오염이 깨끗한 MNIST 성능을 넘어서 표준 CNN의 견고성 격차를 드러내는가?
• RQ2 적대적 방어 방법이 MNIST-C에서의 강건성에 어떤 영향을 미치는가?
• RQ3 간단한 데이터 증강이 CNN의 MNIST-C 성능과 인간 수준의 강건성 사이의 격차를 줄일 수 있는가?
• RQ4 손상된 데이터에 직접 학습하는 것이 OOD 평가를 위한 견고성의 타당한 척도인가?

주요 결과

• CNN은 MNIST-C에서 상당한 저하를 보이며, 오염들 전반에 걸친 평균 정확도는 약 91.21%이고 깨끗한 데이터와 비교했을 때 오차의 상대적 증가가 크게 나타난다(인간 수준의 불변성이 항상 보장되지는 않음).
• 적대적으로 학습된 모델 및 대안 아키텍처(캡슐 네트워크, ABS)가 깨끗한 모델에 비해 MNIST-C에서 오차율이 증가한다.
• 간단한 데이터 증강은 MNIST-C를 손쉽게 해결할 수 없고, 오염에 대한 학습은 보류된 오염이나 모든 오염에서 이뤄질 경우 강건성을 인위적으로 높일 수 있다.
• MNIST-C는 적대적 강건성 측정으로는 감지되지 않는 실패 모드를 포착하여 더 넓은 강건성 벤치마크의 필요성을 시사한다.