[논문 리뷰] Intriguing properties of adversarial training at scale

Cihang Xie, Alan Yuille|arXiv (Cornell University)|2019. 06. 10.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 17

한 줄 요약

이 논문은 ImageNet에서 대규모로 적대적 훈련을 수행할 때 두 가지 핵심 성질을 규명한다: (1) 배치 정규화(BN)는 청소하고 적대적인 데이터를 혼합하여 훈련할 경우 도메인 이탈로 인해 강건성을 저하시키며, 청소 및 적대적 이미지의 정규화 통계를 분리하면 강건성이 크게 향상된다; (2) 현재의 '깊은' 네트워크, 예를 들어 ResNet-152는 여전히 적대적 훈련에 충분히 깊지 않으며, 더 깊은 아키텍처(예: ResNet-638)는 강건성 향상에 뚜렷하고 일관된 기여를 한다.

ABSTRACT

Adversarial training is one of the main defenses against adversarial attacks. In this paper, we provide the first rigorous study on diagnosing elements of adversarial training, which reveals two intriguing properties. First, we study the role of normalization. Batch normalization (BN) is a crucial element for achieving state-of-the-art performance on many vision tasks, but we show it may prevent networks from obtaining strong robustness in adversarial training. One unexpected observation is that, for models trained with BN, simply removing clean images from training data largely boosts adversarial robustness, i.e., 18.3%. We relate this phenomenon to the hypothesis that clean images and adversarial images are drawn from two different domains. This two-domain hypothesis may explain the issue of BN when training with a mixture of clean and adversarial images, as estimating normalization statistics of this mixture distribution is challenging. Guided by this two-domain hypothesis, we show disentangling the mixture distribution for normalization, i.e., applying separate BNs to clean and adversarial images for statistics estimation, achieves much stronger robustness. Additionally, we find that enforcing BNs to behave consistently at training and testing can further enhance robustness. Second, we study the role of network capacity. We find our so-called "deep" networks are still shallow for the task of adversarial learning. Unlike traditional classification tasks where accuracy is only marginally improved by adding more layers to "deep" networks (e.g., ResNet-152), adversarial training exhibits a much stronger demand on deeper networks to achieve higher adversarial robustness. This robustness improvement can be observed substantially and consistently even by pushing the network capacity to an unprecedented scale, i.e., ResNet-638.

연구 동기 및 목표

• 대규모 ImageNet에서의 적대적 훈련의 핵심 요소인 정규화와 네트워크 용량을 진단하는 것.
• 표준 훈련에서 성공을 거둔 배치 정규화(BN)가 왜 적대적 훈련에서는 강건성을 떨어뜨리는지 조사하는 것.
• 기존의 깊은 네트워크와 비교해 더 깊은 네트워크가 적대적 강건성의 한계를 극복할 수 있는지 탐색하는 것.
• 적대적으로 훈련된 모델에서 청소 정확도와 강건성 사이의 상호 교환 관계를 평가하는 것.
• 청소 및 적대적 이미지가 서로 다른 데이터 도메인에서 유래하기 때문에 정규화에 영향을 미친다는 가설을 검증하는 것.

제안 방법

• 통합 프레임워크를 사용해 ImageNet에서 적대적 훈련을 수행하며, 배치 정규화(BN) 유무에 따라 모델을 비교했다.
• 이중 도메인 정규화 전략을 제안: 청소 및 적대적 이미지에 대해 별도의 BN을 적용해 통계를 분리했다.
• 배치 수준의 통계 혼합을 방지하기 위해 BN을 그룹 정규화(GN)로 대체했다. GN은 각 이미지별로 정규화를 추정한다.
• 훈련과 추론 간 일관된 BN 동작을 강제함으로써 강건성을 향상시켰다.
• 적대적 강건성에 미치는 영향을 평가하기 위해 네트워크 깊이를 ResNet-152에서 ResNet-638까지 체계적으로 증가시켰다.
• PGD 기반 공격과 표준 평가 프로토콜을 사용해 강건성과 청소 정확도를 측정했다.

실험 결과

연구 질문

• RQ1 왜 청소 및 적대적 데이터를 혼합해 훈련할 경우 배치 정규화(BN)가 적대적 강건성을 떨어뜨리는가?
• RQ2 청소 및 적대적 이미지의 정규화 통계를 분리하면 모델의 강건성이 향상되는가?
• RQ3 훈련과 추론 간 일관된 BN 동작을 강제하면 강건성이 추가로 향상되는가?
• RQ4 현재의 '깊은' 네트워크인 ResNet-152는 적대적 훈련에 충분히 깊은가, 아니면 더 깊은 용량이 필요한가?
• RQ5 네트워크 깊이를 늘일수록 대규모 환경에서 적대적 강건성과 청소 정확도에 어떤 영향을 미치는가?

주요 결과

• 적대적 훈련 중에 청소 이미지를 훈련 데이터에서 제거하면, BN 기반 모델의 강건성이 18.3% 향상되어 청소 및 적대적 이미지 간 도메인 이탈이 존재함을 시사한다.
• 청소 및 적대적 이미지에 대해 별도의 BN을 적용해 정규화 통계를 분리하면 강건성이 뚜렷이 향상되며, 혼합 데이터에 대한 표준 BN보다 우수한 성능을 기록한다.
• BN을 그룹 정규화(GN)로 대체하면 67.5%의 청소 정확도와 뛰어난 강건성을 확보해 배치 수준의 통계 혼합이 성능에 악영향을 미친다는 것을 입증한다.
• 훈련과 추론 간 일관된 BN 동작을 강제하면 강건성이 추가로 향상되며, 특히 정규화 통계를 분리한 전략과 조합할 경우 효과가 두드러진다.
• ResNet-152에서 ResNet-638로 네트워크 깊이를 늘일 경우, 적대적 공격에 대해 2.4%의 강건성 향상이 발생하며, 이는 청소 훈련의 0.5% 향상보다 훨씬 높아, 더 깊은 네트워크가 적대적 훈련에 필수적임을 시사한다.
• 가장 깊은 모델인 ResNet-638은 68.7%의 청소 정확도를 기록해 ResNet-152보다 6.1% 높아, 더 깊은 네트워크가 표준 정확도 향상에도 기여함을 보여준다.