[논문 리뷰] Removing Batch Normalization Boosts Adversarial Training

Haotao Wang, Aston Zhang외 4명|arXiv (Cornell University)|2022. 07. 04.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 정규화 기반 학습을 제거함으로써 정규화 기반 모델이 혼합된 정상 및 적대적 데이터 분포를 처리하는 데 어려움을 겪는 문제를 해결하기 위해 NoFrost를 제안한다. NoFrost는 배치 정규화(BN) 레이어를 제거한 정규화 기반 학습 방법으로, NF-ResNet과 같은 정규화 기반 네트워크를 활용하여 ResNet50 기반으로 ImageNet에서 74.06%의 정상 정확도와 23.56%의 PGD 적대적 공격에 대한 강건성을 달성한다. 이는 BN 기반 방법 대비 최대 16.78%의 정상 정확도 감소 문제를 해결한 것으로, 뚜렷한 성능 향상을 보였다.

ABSTRACT

Adversarial training (AT) defends deep neural networks against adversarial attacks. One challenge that limits its practical application is the performance degradation on clean samples. A major bottleneck identified by previous works is the widely used batch normalization (BN), which struggles to model the different statistics of clean and adversarial training samples in AT. Although the dominant approach is to extend BN to capture this mixture of distribution, we propose to completely eliminate this bottleneck by removing all BN layers in AT. Our normalizer-free robust training (NoFrost) method extends recent advances in normalizer-free networks to AT for its unexplored advantage on handling the mixture distribution challenge. We show that NoFrost achieves adversarial robustness with only a minor sacrifice on clean sample accuracy. On ImageNet with ResNet50, NoFrost achieves $74.06\%$ clean accuracy, which drops merely $2.00\%$ from standard training. In contrast, BN-based AT obtains $59.28\%$ clean accuracy, suffering a significant $16.78\%$ drop from standard training. In addition, NoFrost achieves a $23.56\%$ adversarial robustness against PGD attack, which improves the $13.57\%$ robustness in BN-based AT. We observe better model smoothness and larger decision margins from NoFrost, which make the models less sensitive to input perturbations and thus more robust. Moreover, when incorporating more data augmentations into NoFrost, it achieves comprehensive robustness against multiple distribution shifts. Code and pre-trained models are public at https://github.com/amazon-research/normalizer-free-robust-training.

연구 동기 및 목표

• 실제 적용에 제약를 가중하는 정상 이미지 성능 저하 문제를 해결하기 위해 정규화 기반 학습에서의 성능 저하를 해결한다.
• 정상 정확도와 적대적 강건성 간의 상충 관계의 주요 원인으로서 배치 정규화(BN)의 정상 및 적대적 샘플 혼합 분포를 모델링하지 못하는 점을 규명한다.
• 혼합 분포 문제를 해결하기 위해 BN을 연장하는 방법(예: 혼합 BN) 대신 BN 레이어를 완전히 제거하는 대안을 탐색한다.
• 정규화 기반 네트워크가 강건한 학습을 위한 이질적 데이터 분포를 처리하는 데 잠재된 이점을 제공함을 입증한다.
• 다양한 분포 이탈(자연적 손상, 적대적 공격 등)에 대한 종합적인 강건성을 확보하기 위해 방법을 확장한다.

제안 방법

• 적대적 학습에서 모든 배치 정규화 레이어를 제거한 정규화 기반 학습 프레임워크인 NoFrost를 제안한다.
• 통계 기반 정규화가 혼합 분포에서 실패하는 점을 방지하기 위해 정규화 레이어가 없는 ResNet의 변종인 NF-ResNet을 백본으로 채택한다.
• 정상 이미지, FGSM/PGD 적대적 예제, DeepAugment 및 텍스처 제거 기반 증강(TDA)과 같은 데이터 증강 기법을 함께 학습한다.
• 정규화 레이어가 없는 환경에서의 학습 안정성을 확보하기 위해 가중치 감쇠와 확률적 깊이를 활용한다.
• 단일 모델 내에서 정상, 적대적, 손상된, 스타일화된 등 다양한 이질적 데이터 분포를 공동으로 학습한다.
• 개선된 강건성의 근본 원리로 모델의 부드러움과 더 넓은 决策 마진을 활용한다.

실험 결과

연구 질문

• RQ1 배치 정규화 레이어를 제거함으로써 정규화 기반 학습에서 정상 정확도와 적대적 강건성 간의 상충 관계를 크게 개선할 수 있는가?
• RQ2 BN 또는 혼합 BN 대비 정규화 기반 학습이 정상 및 적대적 샘플의 혼합 분포를 더 잘 다룰 수 있는가?
• RQ3 정규화 기반 네트워크는 ImageNet에서 높은 정상 정확도를 유지하면서도 우수한 강건성을 달성할 수 있는가?
• RQ4 NoFrost는 적대적 공격 외의 다양한 분포 이탈에 대해 종합적인 강건성을 확보하기 위해 확장될 수 있는가?
• RQ5 NoFrost에서 향상된 강건성을 설명하는 근본 메커니즘(예: 부드러움, 결정 마진)은 무엇인가?

주요 결과

• NoFrost는 ResNet50 기반으로 ImageNet에서 74.06%의 정상 정확도를 달성했으며, 표준 학습 대비 단지 2.00%의 감소를 보였고, BN 기반 적대적 학습 대비 59.28%로 16.78%의 감소를 보였다.
• NoFrost는 PGD 공격에 대해 23.56%의 적대적 강건성을 확보했으며, BN 기반 AT의 13.57% 대비 뚜렷한 향상을 보였다.
• APGD-CE 공격 기준으로 NoFrost는 상태 기준 BN 기반 방법인 MBNAT보다 강건성 11.96% 높고 정상 정확도 0.42% 높았다.
• NoFrost는 APGD-CE 공격에 대해 TRADES-FAT 대비 정상 정확도 12.15% 높고 강건성 7.25% 높았다.
• 정상, 적대적, DeepAugment, TDA 데이터를 함께 학습한 확장된 NoFrost*는 OOD 벤치마크에서 최고 성능을 기록했으며, ResNet26 기준으로 DeepAugment 대비 PGD 강건성 16.30% 높았다.
• NoFrost는 더 높은 모델 부드러움과 더 넓은 결정 마진을 보이며, 입력 변형에 대한 민감도를 감소시키고 강건성을 향상시켰다.