[논문 리뷰] AugMix: A Simple Data Processing Method to Improve Robustness and Uncertainty

Dan Hendrycks, Norman Mu외 4명|arXiv (Cornell University)|2019. 12. 05.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 566

한 줄 요약

AugMix는 다중 증강 체인을 혼합하고 Jensen-Shannon divergence 손실로 일관성을 강제하는 확률적 증강 체계를 도입하여, CIFAR 및 ImageNet 규모에서 데이터 시프트 하에 최첨단 강건성과 불확실성 추정치를 제공합니다.

ABSTRACT

Modern deep neural networks can achieve high accuracy when the training distribution and test distribution are identically distributed, but this assumption is frequently violated in practice. When the train and test distributions are mismatched, accuracy can plummet. Currently there are few techniques that improve robustness to unforeseen data shifts encountered during deployment. In this work, we propose a technique to improve the robustness and uncertainty estimates of image classifiers. We propose AugMix, a data processing technique that is simple to implement, adds limited computational overhead, and helps models withstand unforeseen corruptions. AugMix significantly improves robustness and uncertainty measures on challenging image classification benchmarks, closing the gap between previous methods and the best possible performance in some cases by more than half.

연구 동기 및 목표

• 학습-테스트 분포 시프트 하에서 강건성과 신뢰할 수 있는 불확실성 추정치를 확보하도록 동기를 부여합니다.
• 간단하고 계산적으로 효율적인 데이터 증강 방법을 개발합니다.
• 증강 체인의 혼합과 일관성 손실이 벤치마크 전반에서 오염 강건성 및 보정을 개선한다는 것을 보여준다.

제안 방법

• AugMix를 무작위로 선택된 여러 증강 체인을 통해 입력의 확률적 증강으로 정의합니다.
• 여러 증강 체인의 결과를 Dirichlet-분포 가중치로 혼합하고, 원본 이미지와 베타 분포 가중치를 사용하여 보간합니다.
• 원본 및 증강된 변형 간에 Jensen-Shannon divergence 일관성 손실로 학습하여 안정적인 예측을 촉진합니다.
• 학습 시 증강이 테스트 시 손상 분포(ImageNet-C)와 겹치는 것을 제외하여 학습 시 증강과 테스트 시 손상 간의 독립성을 보장합니다.
• CIFAR-10-C, CIFAR-100-C 및 ImageNet-C를 사용한 강건성과 RMS calibration error 및 Brier score와 같은 불확실성 보정 지표를 함께 평가합니다.

실험 결과

연구 질문

• RQ1 무작위 증강 전략이 깨끗한 정확도를 희생하지 않으면서 보이지 않는 손상에 대한 모델의 강건성을 향상시킬 수 있는가?
• RQ2 Jensen-Shannon divergence 일관성 손실이 분포 시프트 하에서 보정을 향상시키는가?
• RQ3 여러 증강 체인을 혼합하는 것이 단일 증강이나 다른 증강 전략과 비교하여 강건성과 불확실성 측면에서 어떤 차이가 있는가?
• RQ4 AugMix가 CIFAR 규모에서 ImageNet 규모 데이터셋으로 확장 가능하며 강건성과 불확실성 추정 측면에서 효과적인가?

주요 결과

• AugMix는 다수의 아키텍처에 걸쳐 CIFAR-10-C 및 CIFAR-100-C에서 오염 오류를 크게 감소시킨다.
• On ImageNet-C, AugMix achieves state-of-the-art corruption robustness and improves perturbation stability (mFR) compared with baselines.
• AugMix는 데이터 시프트 하에서 불확실성 보정을 개선하고 miscalibration(RMS calibration error 및 Brier score)을 낮춘다.
• Ablations show that diversity from random augmentations, the Jensen-Shannon consistency loss, and mixing contribute to robustness, with diminishing returns if over-mixed or over-tuned.