[논문 리뷰] AugMax: Adversarial Composition of Random Augmentations for Robust Training

Haotao Wang, Chaowei Xiao외 4명|arXiv (Cornell University)|2021. 10. 26.

Adversarial Robustness in Machine Learning참고 문헌 69인용 수 35

한 줄 요약

AugMax는 임의로 샘플링된 증강들을 적대적으로 혼합함으로써 데이터 증강의 다양성과 난이도를 통합하고, 새로운 DuBIN 정규화의 도움으로 여러 가지 오염 벤치마크에서 최첨단 강건성을 달성합니다.

ABSTRACT

Data augmentation is a simple yet effective way to improve the robustness of deep neural networks (DNNs). Diversity and hardness are two complementary dimensions of data augmentation to achieve robustness. For example, AugMix explores random compositions of a diverse set of augmentations to enhance broader coverage, while adversarial training generates adversarially hard samples to spot the weakness. Motivated by this, we propose a data augmentation framework, termed AugMax, to unify the two aspects of diversity and hardness. AugMax first randomly samples multiple augmentation operators and then learns an adversarial mixture of the selected operators. Being a stronger form of data augmentation, AugMax leads to a significantly augmented input distribution which makes model training more challenging. To solve this problem, we further design a disentangled normalization module, termed DuBIN (Dual-Batch-and-Instance Normalization), that disentangles the instance-wise feature heterogeneity arising from AugMax. Experiments show that AugMax-DuBIN leads to significantly improved out-of-distribution robustness, outperforming prior arts by 3.03%, 3.49%, 1.82% and 0.71% on CIFAR10-C, CIFAR100-C, Tiny ImageNet-C and ImageNet-C. Codes and pretrained models are available: https://github.com/VITA-Group/AugMax.

연구 동기 및 목표

• 다양성(AugMix 스타일 증강)과 난이도(적대적 혼합)를 결합하여 분포 변화 및 오염에 대한 강건한 학습을 촉진한다.
• 학습 손실을 최대화하는 적대적 혼합 가중치 및 매개변수를 학습하도록 AugMax를 제안한다.
• 향상된 기본 증강보다 이점을 유지하면서 가속화된 적대적 전략을 통해 학습 복잡도를 줄인다.
• AugMax로 유도된 인스턴스 단위 특징 이질성을 분리하기 위해 DuBIN 정규화 모듈을 도입한다.

제안 방법

• 먼저 증강 연산자를 임의로 샘플링한 다음 선택된 연산자의 적대적 혼합(m, w)을 학습하는 방식으로 AugMix를 확장한다.
• 증강 매개변수에 대한 손실을 최대화하고 분류기 매개변수는 최소화하는 미니맥스 목적식을 형식화한다.
• w를 w = softmax(p)로 재매개변수화하여 미분 가능한 최적화를 가능하게 한다.
• 내부 최대화를 효율적으로 해결하기 위해 가속된 적대적 공격 방법을 사용하여 훈련 오버헤드를 적절하게 유지한다.
• DuBIN(Dual Batch-and-Instance Normalization)을 도입하여 인스턴스 수준 이질성을 분리하고, 병렬 IN 분과 DuBN 분기가 증강 유형별로 전달되도록 한다.
• AugMax-DuBIN을 학습하고 CIFAR-10/100, Tiny ImageNet, ImageNet에서 오염 벤치마크를 대상으로 AugMix 및 기본 baselines와 비교한다.

실험 결과

연구 질문

• RQ1 데이터 증강에서 다양성과 난이도를 효과적으로 통합하여 분포 변화와 오염에 대한 강건성을 향상시킬 수 있는가?
• RQ2 AugMax처럼 증강의 적대적 혼합을 학습하는 것이 무작위 증강만으로 얻는 것보다 분포 밖 강건성을 향상시키는가?
• RQ3 AugMax를 사용할 때 특수 정규화(DuBIN)가 특징 통계와 강건성에 어떤 영향을 미치는가?

주요 결과

• AugMax-DuBIN은 CIFAR10-C 및 CIFAR100-C에서 새로운 최첨단 강건성을 달성하며 각각 AugMix보다 3.03% 및 3.49% 향상시킨다.
• Tiny ImageNet-C 및 ImageNet-C에서 AugMax-DuBIN은 각각 AugMix보다 1.82% 및 0.71%의 강건성을 개선한다.
• ImageNet에서 AugMax 학습 시간은 AugMix의 약 1.5배이며, 전통적인 적대적 학습(약 10배 느림) 대비 우호적인 효율성을 제공한다.
• AugMax와 DuBIN의 결합은 특징 분산을 감소시키고 BN 통계 처리의 개선을 통해 더 나은 강건성을 가능하게 한다.
• AugMax-DuBIN은 ResNet18, WRN40-2 및 ResNeXt29를 포함한 여러 데이터셋과 모델에서 증강 기반 및 적대적 학습 기준선보다 우수하다.
• DeepAugment와 결합된 AugMax-DuBIN은 보고된 비교에서 ImageNet-C의 mCE를 약 0.71–0.82 포인트 초과하여 DeepAugment + AugMix를 능가할 수 있다.