[논문 리뷰] Smooth Adversarial Training

Cihang Xie, Mingxing Tan외 3명|arXiv (Cornell University)|2020. 06. 25.

Adversarial Robustness in Machine Learning참고 문헌 82인용 수 99

한 줄 요약

SAT가 ReLU를 매끄러운 활성화로 대체하여 적대적 학습을 강화하고 정확도나 추가 계산 비용 손실 없이 강건성을 높이며, ImageNet의 ResNet-50 및 EfficientNet-L1에서 시연됨.

ABSTRACT

It is commonly believed that networks cannot be both accurate and robust, that gaining robustness means losing accuracy. It is also generally believed that, unless making networks larger, network architectural elements would otherwise matter little in improving adversarial robustness. Here we present evidence to challenge these common beliefs by a careful study about adversarial training. Our key observation is that the widely-used ReLU activation function significantly weakens adversarial training due to its non-smooth nature. Hence we propose smooth adversarial training (SAT), in which we replace ReLU with its smooth approximations to strengthen adversarial training. The purpose of smooth activation functions in SAT is to allow it to find harder adversarial examples and compute better gradient updates during adversarial training. Compared to standard adversarial training, SAT improves adversarial robustness for "free", i.e., no drop in accuracy and no increase in computational cost. For example, without introducing additional computations, SAT significantly enhances ResNet-50's robustness from 33.0% to 42.3%, while also improving accuracy by 0.9% on ImageNet. SAT also works well with larger networks: it helps EfficientNet-L1 to achieve 82.2% accuracy and 58.6% robustness on ImageNet, outperforming the previous state-of-the-art defense by 9.5% for accuracy and 11.6% for robustness. Models are available at https://github.com/cihangxie/SmoothAdversarialTraining.

연구 동기 및 목표

• 강건성이 정확도 감소나 더 큰 모델 필요하다는 믿리에 도전한다.
• 활성화의 매끄러움이 적대적 학습 품질에 미치는 영향을 조사한다.
• 매끄러운 활성화를 이용한 Smooth Adversarial Training(SAT)을 제안하고 평가한다.
• 크고 확장 가능한 네트워크에서의 강건성과 정확도 향상 정도를 계량한다.

제안 방법

• ReLU가 비매끄러운 그래디언트 때문이 약한 적대적 학습의 원인임을 식별한다.
• SAT에서 순방향 및 역방향 패스 모두에 대해 매끄러운 활성 함수(예: Softplus, SILU, GELU, ELU 변형)를 도입한다.
• PGD 기반 공격을 사용한 적대적 예제로 모델을 학습하고 공격자와 최적화자의 그래디언트 품질을 비교한다.
• ResNet-50 및 EfficientNet-L1으로 ImageNet에서 SAT를 평가하고 CIFAR-10에서도 평가한다.
• 역방향 패스만 매끄럽게 하는 경우, 순방향 패스 매끄럽게 하는 경우, 전체 SAT의 ablation으로 효과를 분리한다.
• SAT를 이전 연구와 비교하고 네트워크 깊이, 너비, 해상도에 따른 확장성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 ReLU의 비매끄러운 그래디언트가 적대적 학습 성능을 저하시킬 수 있는가?
• RQ2 매끄러운 활성화가 계산 비용 증가나 깨끗한 정확도 손실 없이 적대적 강건성을 향상시킬 수 있는가?
• RQ3 SAT는 EfficientNet 등 다양한 대형 네트워크에서 표준적 적대적 학습과 비교해 어떻게 작용하는가?
• RQ4 Forward와 Backward 패스 모두에 매끄러움을 적용하는지, 한 가지만 적용하는지의 영향은 무엇인가?

주요 결과

네트워크	적대적 공격자의 그래디언트 품질 향상	네트워크 옵티마이저의 그래디언트 품질 향상	정확도 (%)	강건도 (%)	비고
ResNet-50	✗	✗	68.8	33.0	ReLU 순전파 기반의 기본 설정; 표준 적대적 학습
ResNet-50	✓	✗	68.3	34.5	+1.5% 강건도 대비 베이스라인; -0.5% 정확도
ResNet-50	✗	✓	69.4	35.8	+2.8% 강건도 대비 베이스라인; +0.6% 정확도
ResNet-50	✓	✓	68.9	36.9	+3.9% 강건도 대비 베이스라인; +0.1% 정확도

• SAT가 ImageNet의 ResNet-50에서 강건성을 33.0%에서 42.3%로 향상시키고 정확도 손실이나 추가 비용 없이(0.9% 정확도 증가) 개선한다.
• Forward와 Backward 패스 모두에서 매끄러운 활성화를 사용할 때 가장 큰 강건성 이득을 얻으며, ReLU 기준 대비 최대 3.9% 증가한다.
• EfficientNet-L1에서 SAT는 ImageNet에서 82.2% 정확도와 58.6% 강건도를 달성하며, 정확도에서 9.5%, 강건도에서 11.6%의 기존 연구를 상회한다.
• 매끄러운 활성화가 적용된 SAT는 테스트된 모든 모델에서 일관되게 강건성을 높이고 비슷한 정확도를 유지한다.
• 깊이, 너비, 해상도에 대해 확장을 가능하게 하며, 복합 규모 조정이 표준 적대적 학습보다 강건성을 더 향상시킨다.
• CIFAR-10에서 Softplus/GELU/SmoothReLU가 ReLU보다 강건성을 향상시키고, ELU는 매끄럽게 하지 않으면 불안정할 수 있다(CELU로 해결 가능)