[논문 리뷰] Adversarial Machine Learning at Scale

Alexey Kurakin, Ian Goodfellow외 1명|arXiv (Cornell University)|2016. 11. 04.

Adversarial Robustness in Machine Learning인용 수 375

한 줄 요약

이 논문은 Inception v3를 사용한 ImageNet에서 확장 가능한 적대적 학습을 시연하여 단일 스텝 공격에 대한 견고함을 개선하고, 전이성, 모델 용량 효과, 및 레이블 누출 현상을 다룬다.

ABSTRACT

Adversarial examples are malicious inputs designed to fool machine learning models. They often transfer from one model to another, allowing attackers to mount black box attacks without knowledge of the target model's parameters. Adversarial training is the process of explicitly training a model on adversarial examples, in order to make it more robust to attack or to reduce its test error on clean inputs. So far, adversarial training has primarily been applied to small problems. In this research, we apply adversarial training to ImageNet. Our contributions include: (1) recommendations for how to succesfully scale adversarial training to large models and datasets, (2) the observation that adversarial training confers robustness to single-step attack methods, (3) the finding that multi-step attack methods are somewhat less transferable than single-step attack methods, so single-step attacks are the best for mounting black-box attacks, and (4) resolution of a "label leaking" effect that causes adversarially trained models to perform better on adversarial examples than on clean examples, because the adversarial example construction process uses the true label and the model can learn to exploit regularities in the construction process.

연구 동기 및 목표

• 배치 정규화와 혼합된 적대적/깨끗한 미니배치를 사용하여 대규모 모델과 데이터셋(ImageNet)에 대한 확장 가능한 적대적 학습을 시연한다.
• 훈련된 모델이 다양한 적대적 공격 방법에 대해 얼마나 견고한지 평가하며, 특히 일단계 대 다단계 공격을 비교한다.
• 모델 용량과 학습 선택이 적대적 교란에 대한 견고성에 어떻게 영향을 미치는지 조사한다.
• 모델 간 적대적 예제의 전이성(전이 가능성)을 식별하고 블랙박스 공격에 대한 시사점을 분석한다.
• 적대적 학습 상황에서의 레이블 누출 효과를 드러내고 분석한다.

제안 방법

• 여러 적대적 예제 생성 방법들을 검토하고 비교한다(일단계와 반복적 방법).
• 손실 가중치 매개변수 람다를 제어 가능한 상태로 각 미니배치에 적대적 예제를 주입하는 적대적 학습 알고리즘을 제안한다.
• 고정된 섭동 크기에 과적합되지 않도록 예제별로 무작위화된 epsilon을 사용한다.
• 안정적인 대규모 학습을 위해 배치 정규화와 깨끗한 예제와 적대적 예제를 모두 포함하는 혼합 미니배치를 활용한다.
• ImageNet에서 Inception v3를 사용하여 RMSProp와 50대의 머신에 걸친 동기화 분산 학습을 이용해 평가한다.

실험 결과

연구 질문

• RQ1 How can adversarial training be scaled to large models and datasets like ImageNet?
• RQ2 Does adversarial training with one-step attacks provide robustness to other one-step and some multi-step attacks?
• RQ3 How does model capacity affect adversarial robustness, with and without adversarial training?
• RQ4 What is the transferability of adversarial examples between models, and how does attack type influence it?
• RQ5 Is there a label leaking phenomenon in adversarial training, and how should attacks be constructed for robust evaluation?

주요 결과

• 일단계 방법을 이용한 적대적 학습은 해당 일단계 공격에 대한 견고성을 증가시키며, 적대적 예제에서 최대 약 74%의 top-1 정확도를 달성하는 반면 깨끗한 정확도는 약 0.8% 감소한다.
• 모델 용량을 높일수록(깊이 증가/너비 증가) 적대적 학습과 함께일 때 견고성이 향상된다.
• 반복적 적대적 예제는 일단계 적대적 학습으로 얻은 견고성으로부터의 상당한 보호를 유지하지 못해 다단계 공격에 대한 교차보호가 제한적임을 시사한다.
• 전이성은 FGSM류 적대적 예제에서 더 높고, 반복적 일단계 방법은 전이가 덜 나타나블랙박스 공격에 대한 보안 이점을 제시한다.
• 실제 레이블을 사용한 일단계 적대적 구성에서 레이블 누출 효과가 관찰되어 적대적 예제의 정확도가 깨끗한 예제보다 높아지지만, 실제 라벨을 사용하지 않거나 반복적 방법을 사용할 때 이 효과는 사라진다.