[논문 리뷰] Benchmarking Neural Network Robustness to Common Corruptions and Surface Variations

Dan Hendrycks, Thomas G. Dietterich|arXiv (Cornell University)|2018. 07. 04.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 112

한 줄 요약

이 논문은 이미지넷-C를 잡음 강건성에, Icons-50을 표면 변화 강건성에 대한 벤치마크로 도입하고, 현대 네트워크를 벤치마킹하며 순수한 정확도만이 아닌 강건성을 향상시키는 방법을 제안합니다.

ABSTRACT

In this paper we establish rigorous benchmarks for image classifier robustness. Our first benchmark, ImageNet-C, standardizes and expands the corruption robustness topic, while showing which classifiers are preferable in safety-critical applications. Unlike recent robustness research, this benchmark evaluates performance on commonplace corruptions not worst-case adversarial corruptions. We find that there are negligible changes in relative corruption robustness from AlexNet to ResNet classifiers, and we discover ways to enhance corruption robustness. Then we propose a new dataset called Icons-50 which opens research on a new kind of robustness, surface variation robustness. With this dataset we evaluate the frailty of classifiers on new styles of known objects and unexpected instances of known classes. We also demonstrate two methods that improve surface variation robustness. Together our benchmarks may aid future work toward networks that learn fundamental class structure and also robustly generalize.

연구 동기 및 목표

• 일반적인 손상 및 표면 변화에 대한 이미지 분류기의 강건성에 대한 엄격한 벤치마크 정의
• 75개의 섭 perturbations(15종류 x 5 수준) 전반에 걸친 손상 강건성 표준화 위해 ImageNet-C 생성
• 스타일 및 하위유형 표면 변화에 대한 강건성 연구를 위한 Icons-50 생성
• 이 벤치마크에서 현재 아키텍처와 강건성 향상 방법 평가
• 정확도 손실 없이 강건성을 향상시키는 기법 제안

제안 방법

• ImageNet-C를 도입; 15가지 손상 유형, 각 유형당 다섯 수준의 severity를 ImageNet 검증 이미지에 적용
• Corruption Error와 Mean Corruption Error(mCE), 그리고 크로스-타입 비교를 위한 Relative Corruption Error와 Relative mCE 정의
• ImageNet-C에서 광범위한 아키텍처(AlexNet, VGG 변형, ResNet, DenseNet, ResNeXt, Multigrid, MSDNet 등) 평가
• 안정성 학습, 잡음 제거, 히스토그램 평활화 등 로버스트니스 향상 기법 실험 및 영향 분석
• 다중 스케일 및 특징 집계 네트워크(Multigrid, MSDNet, DenseNet, ResNeXt)가 손상 강건성에 미치는 영향 조사
• 스타일 및 하위유형 강건성 연구를 위한 Icons-50 데이터세트 개발 및 평가 프로토콜 제안
• Shake-Shake 정규화 및 다중 스케일 네트워크를 통한 표면 변화 강건성 향상 탐구

실험 결과

연구 질문

• RQ1 일반적인 이미지 손상이 표준 아키텍처에서 top-1 정확도에 어떤 영향을 미치는가?
• RQ2 아키텍처 개선이 손상 강건성을 향상시키는가, 아니면 강건성은 주로 깨끗한 정확도 향상과 연계되는가?
• RQ3 전처리나 학습 시 기법이 75개의 ImageNet-C 손상에 의미있게 강건성을 향상시킬 수 있는가?
• RQ4 다중 스케일 및 특징 집계 아키텍처가 노이즈 및 표면 변화에 대한 강건성에 어떤 영향을 주는가?
• RQ5 Icons-50으로 시험된 미지의 스타일 및 하위 유형처럼 표면 변화에 대한 네트워크 강건성은 어느 정도인가?

주요 결과

• ImageNet-C는 아키텍처 전반에 걸쳐 손상 강건성의 미미한 향상을 보여주며, 상대 강건성은 대개 깨끗한 정확도 향상을 따른다.
• 구조적 진보에 따라 평균 손상 오차(mCE)가 증가하지만, 상대 mCE는 종종 AlexNet 수준에 머물러 있어 내재적 강건성 향상의 한계를 시사한다.
• 히스토그램 평활화와 다중 스케일/대형 아키텍처는 깨끗한 정확도 손실 없이 ImageNet-C에서 주목할 만한 강건성 향상을 제공한다.
• 안정성 학습과 입력 잡음 제거는 ImageNet-C에서 강건성을 개선하지 못했고, 때로는 성능이 악화되었다.
• Shake-Shake 정규화와 다중 스케일 네트워크(Multigrid, MSDNet)가 Icons-50에서 스타일 및 하위 유형 강건성을 개선하며, 더 큰 특징 집계는 순전히 깊이 증가를 넘어 강건성을 향상시킨다.
• Icons-50은 현재 모델이 스타일 강건성(예: 보지 않은 아이콘 소스)과 하위 유형 강건성(보류된 하위 유형)에 어려움을 보이며, 표면 변화 강건성은 손상 강건성과는 별개의 도전임을 시사한다.