[논문 리뷰] Adversarial Examples Improve Image Recognition

Cihang Xie, Mingxing Tan외 4명|arXiv (Cornell University)|2019. 11. 21.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 48

한 줄 요약

AdvProp 은 전용 보조 배치 정규화를 사용한 적대적 예제가 깨끗한 이미지 정확도를 개선하고 왜곡된 이미지 벤치마크에서 강력한 강건성을 크게 높일 수 있음을 보여주며, EfficientNet-B8으로 ImageNet 성능을 최첨단으로 달성하고 ImageNet-C, ImageNet-A, Stylized-ImageNet에서 강한 이득을 얻습니다.

ABSTRACT

Adversarial examples are commonly viewed as a threat to ConvNets. Here we present an opposite perspective: adversarial examples can be used to improve image recognition models if harnessed in the right manner. We propose AdvProp, an enhanced adversarial training scheme which treats adversarial examples as additional examples, to prevent overfitting. Key to our method is the usage of a separate auxiliary batch norm for adversarial examples, as they have different underlying distributions to normal examples. We show that AdvProp improves a wide range of models on various image recognition tasks and performs better when the models are bigger. For instance, by applying AdvProp to the latest EfficientNet-B7 [28] on ImageNet, we achieve significant improvements on ImageNet (+0.7%), ImageNet-C (+6.5%), ImageNet-A (+7.0%), Stylized-ImageNet (+4.8%). With an enhanced EfficientNet-B8, our method achieves the state-of-the-art 85.5% ImageNet top-1 accuracy without extra data. This result even surpasses the best model in [20] which is trained with 3.5B Instagram images (~3000X more than ImageNet) and ~9.4X more parameters. Models are available at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.

연구 동기 및 목표

• 적대적 예제를 활용하여 공격에 대한 방어만 하는 대신 이미지 인식 성능을 향상시키려는 동기 부여.
• 보조 배치 정규화를 통해 깨끗한 데이터와 적대적 데이터 간의 분포 불일치를 해결하기 위한 AdvProp 제안.
• AdvProp 가 특히 큰 네트워크를 포함한 다양한 모델에서 ImageNet 및 왜곡 데이터셋에서 성능을 개선함을 입증.

제안 방법

• 적대적 학습을 두 분포 학습 문제로 프레이밍하고, 깨끗한 분포와 적대적 분포의 통계를 구분하기 위해 보조 배치 정규화(BN)를 도입한다.
• 보조 BN 프레임워크 내에서 PGD를 사용하여 실시간으로 적대적 예제를 생성한다.
• 메인 BN과 보조 BN을 각각 사용해 깨끗한 배치와 적대적 배치에 대해 손실을 별도로 계산하는 혼합 객체로 학습한다.
• 추론 시 보조 BN을 제거하여 표준 아키텍처를 유지한다.
• 더 미세한 구분을 위해 다수의 보조 BN으로 확장(예: AutoAugment 경로)하는 옵션.
• ImageNet 및 ImageNet-C, ImageNet-A, Stylized-ImageNet 같은 왜곡 데이터셋에서 EfficientNet 변종과 ResNet에 걸쳐 평가한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에서 지도 학습 이미지 인식 성능을 향상시키기 위해 적대적 예제를 사용할 수 있는가?
• RQ2 보조 배치 정규화를 통한 분포 구분이 깨끗한 데이터와 적대적 데이터의 혼합으로부터의 효과적인 학습을 가능하게 하는가?
• RQ3 AdvProp 는 네트워크 용량과 로버스트니스 벤치마크(ImageNet-C, ImageNet-A, Stylized-ImageNet)에서 표준 적대적 학습과 비교해 어떤 성능을 보이는가?
• RQ4 공격자의 강도와 보조 BN 설계가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• AdvProp 는 일반적인 학습보다 ImageNet 상위 정확도에서 향상을 보이며, 대형 네트워크일수록 더 큰 이득을 얻는다(예: EfficientNet-B7의 상위-1 85.2% 달성).
• AdvProp 은 주목할 만한 강건성 향상을 달성: EfficientNet-B7의 ImageNet-C mCE를 52.9%로 개선, ImageNet-A 정확도 44.7%, Stylized-ImageNet 정확도 26.6%—추가 데이터 없이 최상위 보고된 수치들.
• 보조 BatchNorm 은 깨끗한 데이터와 적대적 분포를 구분하여 두 도메인에서의 학습을 가능하게 하고, 특히 큰 모델에서 전통적 적대적 학습보다 더 나은 성능을 보인다.
• 왜곡된 데이터셋에서 AdvProp 는 깨끗한 ImageNet보다 큰 모델에서 더 큰 개선을 보이며, 예를 들어 EfficientNet-B7 은 ImageNet-C, ImageNet-A, Stylized-ImageNet 에서 강한 이득을 보인다.
• 정밀한 변형들(다수의 보조 BN)과 AutoAugment 와의 결합은 특히 작은 모델에서 성능을 더욱 높인다.