[논문 리뷰] Mitigating Adversarial Effects Through Randomization

Cihang Xie, Jianyu Wang외 3명|arXiv (Cornell University)|2017. 11. 06.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 195

한 줄 요약

본 논문은 추론 시점 무작위화(무작위 크기 조정 및 무작위 패딩)를 통해 CNN을 적대적 예제로부터 방어하고, 특히 반복 공격에 대해 강력한 결과를 얻으며 적대적 훈련과 결합될 때 방어 효과를 높입니다.

ABSTRACT

Convolutional neural networks have demonstrated high accuracy on various tasks in recent years. However, they are extremely vulnerable to adversarial examples. For example, imperceptible perturbations added to clean images can cause convolutional neural networks to fail. In this paper, we propose to utilize randomization at inference time to mitigate adversarial effects. Specifically, we use two randomization operations: random resizing, which resizes the input images to a random size, and random padding, which pads zeros around the input images in a random manner. Extensive experiments demonstrate that the proposed randomization method is very effective at defending against both single-step and iterative attacks. Our method provides the following advantages: 1) no additional training or fine-tuning, 2) very few additional computations, 3) compatible with other adversarial defense methods. By combining the proposed randomization method with an adversarially trained model, it achieves a normalized score of 0.924 (ranked No.2 among 107 defense teams) in the NIPS 2017 adversarial examples defense challenge, which is far better than using adversarial training alone with a normalized score of 0.773 (ranked No.56). The code is public available at https://github.com/cihangxie/NIPS2017_adv_challenge_defense.

연구 동기 및 목표

• CNN에서 적대적 섭동에 대한 강건한 분류를 목표로 한다.
• 추론 시점 무작위화를 통한 경량의 훈련 없는 방어를 도입한다.
• ImageNet 규모 데이터에서 여러 아키텍처와 공격 유형에 대해 방어를 평가한다.
• 적대적 훈련과의 호환성과 방어 챌린지에서의 경쟁력 있는 성능을 보여준다.

제안 방법

• 추론 시점에 두 개의 무작위화 계층을 추가한다: [299,331) 크기로의 무작위 리사이징 및 331×331×3으로의 무작위 제로 패딩.
• 재훈련 또는 미세 조정이 필요 없고; 추가 계산이 최소화된다.
• 무작위화가 반복 공격에 의해 전이성 손실로 인해 적대적 섭동을 혼란시킴을 보여준다.
• 단일 스텝 공격에 대비하여 무작위화를 앙상블 적대적 학습과 결합하여 강건성을 강화한다.
• FGSM, DeepFool, Carlini & Wagner 공격을 사용하여 ImageNet 규모 네트워크(Inception-v3, ResNet-101, Inception-ResNet-v2, ens-adv-Inception-ResNet-v2)에 대해 평가한다.

실험 결과

연구 질문

• RQ1 추론 시점 무작위화가 다양한 패턴 간의 적대적 섭동의 전이성을 감소시키는가?
• RQ2 메서드는 단일 스텝 공격과 반복 공격에서 어떻게 성능이 다른가?
• RQ3 무작위화 접근 방식이 기존의 적대적 훈련 및 네트워크 아키텍처와 호환되는가?
• RQ4 정상 이미지 정확도에 미치는 영향은?
• RQ5 NIPS 2017 방어 챌린지와 같은 대규모 벤치마크에서 방법은 어떻게 성능하는가?

주요 결과

• 무작위화 계층은 단일 스텝 및 반복 공격 모두에 대해 적대적 효과를 상당히 완화하며, 특히 반복 공격에서 그렇다.
• 무작위화를 앙상블 적대적 학습과 결합하면 강력한 강건성을 얻으며, 예를 들어 공격을 거쳐도 top-1 정확도가 높게 유지된다.
• 깨끗한 이미지에서 무작위화는 정확도 감소를 미미하게 만든다(아키텍처별로 작은 하락 등).
• NIPS 2017 방어 챌린지에서 randomization plus ens-adv-Inception-ResNet-v2는 0.924의 정규화 점수를 달성하여 107개 방어 팀 중 2위를 차지했고, 단독 적대적 훈련은 0.773로(No. 56)였다.
• 방어는 일반, 단일 패턴, 앙상블 패턴 공격을 포함한 다양한 공격 시나리오를 지원한다.