[논문 리뷰] Improving Adversarial Robustness via Channel-wise Activation Suppressing

Yang Bai, Yuyuan Zeng외 4명|arXiv (Cornell University)|2021. 03. 11.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 59

한 줄 요약

이 논문은 적대적 예시의 채널별 활성화 특성 두 가지를 밝히고(더 큰 크기와 더 균일한 채널 활성화) 채널별 Activation Suppressing(CAS)을 도입하여 중복 채널을 동적으로 억제하고, 적대적 학습과 결합했을 때 견고성을 향상시킨다.

ABSTRACT

The study of adversarial examples and their activation has attracted significant attention for secure and robust learning with deep neural networks (DNNs). Different from existing works, in this paper, we highlight two new characteristics of adversarial examples from the channel-wise activation perspective: 1) the activation magnitudes of adversarial examples are higher than that of natural examples; and 2) the channels are activated more uniformly by adversarial examples than natural examples. We find that the state-of-the-art defense adversarial training has addressed the first issue of high activation magnitudes via training on adversarial examples, while the second issue of uniform activation remains. This motivates us to suppress redundant activation from being activated by adversarial perturbations via a Channel-wise Activation Suppressing (CAS) strategy. We show that CAS can train a model that inherently suppresses adversarial activation, and can be easily applied to existing defense methods to further improve their robustness. Our work provides a simple but generic training strategy for robustifying the intermediate layer activation of DNNs.

연구 동기 및 목표

• 중간 계층 활성화가 채널별 관점에서 적대적 강건성과 어떻게 관련되는지 이해한다.
• 적대적 예시의 채널 수준에서의 두 가지 활성화 특성(크기와 활성화 빈도)을 식별한다.
• 중복 채널 활성화를 억제하고 기존 방어와 통합했을 때 강건성을 개선하기 위해 CAS를 제안한다.

제안 방법

• penultimate-layer 특징에 글로벌 평균 풀링을 적용하여 채널별 활성화를 분석한다.
• 적대적 예시가 자연 예시에 비해 채널 크기가 더 크고 활성화 빈도가 더 균일하다는 것을 보인다.
• CAS를 도입한다: 보조 분류기가 채널 중요도를 학습하고 학습 중 채널 활성화를 재가중한다.
• CAS를 표준 적대적 학습(및 TRADES, MART와 같은 변형)과 결합하여 공동 손실로 학습한다.
• CAS 모듈을 중간 레이어에 삽입하는 전략을 제공하고 강건성을 분석한다.
• CIFAR-10과 SVHN에서 White-box 및 Black-box 공격에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 적대적扰动이 자연 입력에 비해 채널별 활성화 크기를 더 크게 만들고 채널 활성화를 더 균일하게 만드는가?
• RQ2 채널별 억제 메커니즘이 표준 적대적 학습을 넘어 강건성을 개선할 수 있는가?
• RQ3 CAS가 서로 다른 중간 레이어 및 디펜스 프레임워크에 적용될 때 효과적인가?
• RQ4 다양한 공격 하에서 CAS 모듈 자체의 강건성은 얼마나 되는가?
• RQ5 CAS가 자연 정확도를 유지하거나 향상시키면서 적대적 강건성을 높일 수 있는가?

주요 결과

• 적대적 예시는 일반적으로 자연 예시보다 채널별 활성화 크기가 더 크며; 적대적 학습은 이러한 차이를 줄여 적대적 크기를 감소시킨다.
• 적대적 예시는 채널을 더 균일하게 활성화하여 자연 입력이 거의 활성화하지 않는 많은 저주파 채널을 활성화한다.
• CAS는 적대적 학습, TRADES 또는 MART에 추가될 때 중복 채널 활성화를 억제하여 강건성을 더 향상시킬 수 있다.
• CAS는 특히 깊은 블록에 삽입될 때 채널별 억제를 달성한다(예: ResNet-18의 Block4 뒤에 삽입 시).
• CAS 강화된 디펜스는 CIFAR-10 및 SVHN에서 FGSM, PGD-20, CW∞ 및 적응형 공격에 대해 White-box 및 Black-box 강건성이 향상되었다.