[논문 리뷰] Efficient and Effective Augmentation Strategy for Adversarial Training

Sravanti Addepalli, Samyak Jain외 1명|arXiv (Cornell University)|2022. 10. 27.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 간단한 증강과 복잡한 증강을 별도의 배치 정규화 레이어를 사용하고 젠슨-섀넌 발산 손실을 통해 학습을 이끌도록 하는 방식으로, 적대적 훈련을 위한 새로운 데이터 증강 전략인 DAJAT을 제안한다. ACAT를 2단계 공격과 함께 사용하고 에프실론을 증가시킴으로써, CIFAR-10, CIFAR-100, ImageNette에서 최고 수준의 내성-정확도 트레이드오프를 달성하며, ResNet-18과 WideResNet-34-10을 사용한 RobustBench 랭킹에서 기존 방법들을 능가한다.

ABSTRACT

Adversarial training of Deep Neural Networks is known to be significantly more data-hungry when compared to standard training. Furthermore, complex data augmentations such as AutoAugment, which have led to substantial gains in standard training of image classifiers, have not been successful with Adversarial Training. We first explain this contrasting behavior by viewing augmentation during training as a problem of domain generalization, and further propose Diverse Augmentation-based Joint Adversarial Training (DAJAT) to use data augmentations effectively in adversarial training. We aim to handle the conflicting goals of enhancing the diversity of the training dataset and training with data that is close to the test distribution by using a combination of simple and complex augmentations with separate batch normalization layers during training. We further utilize the popular Jensen-Shannon divergence loss to encourage the joint learning of the diverse augmentations, thereby allowing simple augmentations to guide the learning of complex ones. Lastly, to improve the computational efficiency of the proposed method, we propose and utilize a two-step defense, Ascending Constraint Adversarial Training (ACAT), that uses an increasing epsilon schedule and weight-space smoothing to prevent gradient masking. The proposed method DAJAT achieves substantially better robustness-accuracy trade-off when compared to existing methods on the RobustBench Leaderboard on ResNet-18 and WideResNet-34-10. The code for implementing DAJAT is available here: https://github.com/val-iisc/DAJAT.

연구 동기 및 목표

• 표준 훈련에서는 성공한 복잡한 데이터 증강 기법(예: AutoAugment)이 적대적 훈련에서는 성능이 떨어지는 문제를 해결하기 위해.
• 적대적 훈련에서 데이터 다양성 향상과 테스트 데이터 분포 유지 간의 갈등을 해결하기 위해.
• 기울기 가림을 피하면서도 내성과 정확도를 향상시키는 효율적이고 확장 가능한 방법을 개발하기 위해.
• 간단한 증강과의 공동 학습을 통해 저자료 환경에서 복잡한 증강을 효과적으로 활용할 수 있도록 하기 위해.
• 최소한의 계산 비용으로 표준 및 내성 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 간단한 증강과 복잡한 증강 양쪽 모두를 별도의 배치 정규화 레이어를 사용해 훈련함으로써 분포와 다양성 목표를 분리하는 Diverse Augmentation-based Joint Adversarial Training (DAJAT)를 제안한다.
• 다른 증강에 대한 소프트맥스 출력 간 젠슨-섀넌 발산 손실을 도입하여, 단순한 증강이 복잡한 증강의 학습을 이끌 수 있도록 한다.
• 기울기 가림을 방지하고 훈련 안정성을 향상시키기 위해 선형적으로 증가하는 에프실론 스케줄과 가중치 공간 스무딩을 사용하는 올림프링 제약 적대적 훈련(ACAT)을 적용한다.
• 계산 비용을 줄이기 위해 10단계가 아닌 2단계 PGD 공격을 훈련 중에 사용함으로써 내성 유지와 함께 효율성을 확보한다.
• 코사인 학습률 스케줄링과 가중치 공간 스무딩을 적용하여 수렴성과 일반화 능력을 향상시킨다.
• OAAT, AWP, HAT와 같은 기존 방법과 DAJAT을 통합하여 아키텍처와 데이터셋에 관계없이 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 표준 훈련에서는 성공한 강력한 데이터 증강 기법(예: AutoAugment)이 왜 적대적 훈련에서는 실패하는가?
• RQ2 훈련 동역학을 적절히 제어할 수 있다면, 복잡한 데이터 증강 기법을 적대적 훈련에서 효과적으로 활용할 수 있는가?
• RQ3 적대적 훈련에서 데이터 증강의 다양성과 테스트 분포 일치를 어떻게 동시에 최적화할 수 있는가?
• RQ4 경량이고 효율적인 방어 전략은 기울기 가림을 방지하면서도 내성과 정확도를 향상시킬 수 있는가?
• RQ5 데이터 증강이 가장 중요한 저자료 환경에서 DAJAT은 얼마나 성능 향상을 이룰 수 있는가?

주요 결과

• ResNet-18를 사용한 CIFAR-100에서 DAJAT은 RobustBench 랭킹에서 최고 수준의 내성 정확도를 달성하며, 동일한 아키텍처를 사용한 모든 이전 방법들을 능가한다.
• CIFAR-100에서 OAAT와 결합된 DAJAT은 OAAT 단독 대비 약 1.5% 높은 정상 및 적대적 정확도를 기록했으며, AutoAttack 하에서 ε=16/255일 때 추가적인 성능 향상을 보였다.
• HAT와 결합했을 때 DAJAT은 CIFAR-100에서 정상 정확도를 3–5% 향상시키고 내성 정확도를 약 3% 향상시켰으며, CIFAR-10에서는 각각 약 1%와 약 2% 향상되었다.
• 손실 표면 플롯을 통해 부드러운 손실 표면이 확보되었으며, 이는 기울기 가림이 없고 기울기가 신뢰할 수 있음을 시사한다.
• 블랙박스 및 다단계 공격 결과에서 내성이 검증되었으며, 1000단계에서 정확도가 포화 상태에 도달하고 1000번의 랜덤 재시작 하에서도 정확도가 약간 감소함을 확인하여 평가 신뢰도를 입증했다.
• 2단계 PGD와 증가하는 ε를 사용한 ACAT는 계산 비용을 줄이면서도 강력한 성능 유지를 유지하여 효율성과 내성의 균형을 확보했다.