[논문 리뷰] An Empirical Evaluation on Robustness and Uncertainty of Regularization Methods

Sanghyuk Chun, Seong Joon Oh외 4명|arXiv (Cornell University)|2020. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 35

한 줄 요약

이 논문은 상태-오브-더-아트 정규화 기법들(예: Mixup, CutMix, Cutout, ShakeDrop, 라벨 스무딩)을 실제로 평가하여 적대적 및 자연적 섭동에 대한 강건성과 불확실성 추정에 대한 성능을 확인하고, 이들이 특화된 강건성 방법들보다 강력하고 저렴한 Baseline으로 초과 성능을 보일 수 있음을 보여준다.

ABSTRACT

Despite apparent human-level performances of deep neural networks (DNN), they behave fundamentally differently from humans. They easily change predictions when small corruptions such as blur and noise are applied on the input (lack of robustness), and they often produce confident predictions on out-of-distribution samples (improper uncertainty measure). While a number of researches have aimed to address those issues, proposed solutions are typically expensive and complicated (e.g. Bayesian inference and adversarial training). Meanwhile, many simple and cheap regularization methods have been developed to enhance the generalization of classifiers. Such regularization methods have largely been overlooked as baselines for addressing the robustness and uncertainty issues, as they are not specifically designed for that. In this paper, we provide extensive empirical evaluations on the robustness and uncertainty estimates of image classifiers (CIFAR-100 and ImageNet) trained with state-of-the-art regularization methods. Furthermore, experimental results show that certain regularization methods can serve as strong baseline methods for robustness and uncertainty estimation of DNNs.

연구 동기 및 목표

• 일반적인 정규화 기법들이 적대적 섭동과 자연적 오염에 대한 강건성에 어떤 영향을 미치는지 평가한다.
• 정규화된 모델의 보정(calibration) 및 OOD 탐지 성능을 평가한다.
• 정규화 기반 Baseline과 강건성 및 불확실성용으로 특별히 설계된 방법들을 비교한다.
• 최소 비용으로 강건성 전체를 잘 달성하는 정규화 조합을 파악한다.
• 강건성 연구에서 정규화를 Baseline으로 사용하는 것의 시사점을 강조한다.]
• method업데이트된 한국어 번역: [
• Train image classifiers on CIFAR-100 and ImageNet with PyramidNet-200 and ResNet-50 baselines.
• Apply regularization techniques: Cutout, Mixup, CutMix, ShakeDrop, Label Smoothing and their combinations.
• Evaluate robustness to FGSM adversarial attack, CIFAR-100-C/ImageNet-C corruptions, and occlusions.
• Assess uncertainty via expected calibration error and OOD detection error.
• Compare against adversarial training and adversarial logit pairing (ALP).
• Use standard SGD with momentum (batch=64, 300 epochs) and data augmentations; report results with label smoothing.
• Utilize OOD augmentations (SVHN, GAN) and CIFAR-C/ImageNet-C benchmarks for uncertainty tests.

제안 방법

• PyramidNet-200 및 ResNet-50 기본 모델로 CIFAR-100 및 ImageNet에서 이미지 분류기 학습.
• Cutout, Mixup, CutMix, ShakeDrop, Label Smoothing 및 이들의 조합 등 정규화 기법 적용.
• FGSM 적대적 공격, CIFAR-100-C/ImageNet-C 잡음/오염 및 가림에 대한 강건성 평가.
• 기대 보정 오차 및 OOD 탐지 오차를 통한 불확실성 평가.
• 적대적 학습 및 적대적 로짓 페어링(ALP)과의 비교.
• 배치 64, 300 에폭의 모멘텀을 포함한 표준 SGD와 데이터 증가를 사용하고 라벨 스무딩으로 결과 보고.
• OOD 증강(SVHN, GAN) 및 CIFAR-C/ImageNet-C 벤치마크를 불확실성 테스트에 사용.

실험 결과

연구 질문

• RQ1 간단하고 잘 알려진 정규화 기법들이 적대적 및 비적대적 섭동 전반에 걸쳐 견고한 성능을 제공하는가?
• RQ2 정규화 기법들이 보정 및 OOD 탐지에 미치는 영향이 특화된 강건성 방법들과 비교해 어떤가?
• RQ3 정규화 기법의 조합이 일반적인 벤치마크에서 목표 지향적 강건성 접근법보다 더 우수한가?
• RQ4 정규화에서 라벨 스무딩이 강건성 및 불확실성 추정에 미치는 상대적 영향은 무엇인가?
• RQ5 정규화된 모델들이 강건성 및 불확실성 연구를 위한 강력한 Baseline으로 실현 가능한가?

주요 결과

• Cutout + ShakeDrop + 라벨 스무딩, Mixup + ShakeDrop + 라벨 스무딩, CutMix + ShakeDrop + 라벨 스무딩 같은 조합의 정규화가 여러 지표에서 강건성 및 불확실성 결과를 향상시킨다.
• 라벨 스무딩만으로는 분류 정확도가 항상 향상되진 않지만, 여러 설정에서 적대적 강건성, 보정 오차, OOD 탐지에서 향상을 보인다.
• 일부 정규화 조합은 ALP, OOD 증강과 같은 특화 방법보다 다수의 지표에서 우수하거나 같은 수준의 성능을 보이며, 특히 가림 및 불확실성 측정에서 두드러진다.
• Mixup 및 CutMix는 일반적인 잡음에 대한 강건성을 일반적으로 향상시키는 반면, Cutout은 가림 강건성에서 뛰어나지만 다른 섭동에선 악영향을 줄 수 있다.
• ImageNet에서 정규화 모델은 경쟁력 있는 강건성을 달성하며, Mixup + 라벨 스무딩은 강력한 ImageNet-C mCE(69.14%)를 달성하고 스타일링된 ImageNet 기반선에 근접하다.
• 전반적으로 잘 정규화된 모델은 추가 비용이 거의 없이 더 강력하거나 동등한 강건성 및 불확실성 성능을 제공하므로 향후 연구에서 강한 Baseline으로 삼기 적합하다.