[논문 리뷰] Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?

Ali Shafahi, Amin Ghiasi외 2명|arXiv (Cornell University)|2019. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 34

한 줄 요약

이 논문은 간단한 정규화 기법(라벨 스무딩과 로짓 스퀴징)과 가우시안 노이즈를 결합하면 적대적 학습과 비교하거나 그보다 강건함을 달성할 수 있으며, 적대적 예시를 사용하지 않는다.

ABSTRACT

Adversarial training is one of the strongest defenses against adversarial attacks, but it requires adversarial examples to be generated for every mini-batch during optimization. The expense of producing these examples during training often precludes adversarial training from use on complex image datasets. In this study, we explore the mechanisms by which adversarial training improves classifier robustness, and show that these mechanisms can be effectively mimicked using simple regularization methods, including label smoothing and logit squeezing. Remarkably, using these simple regularization methods in combination with Gaussian noise injection, we are able to achieve strong adversarial robustness -- often exceeding that of adversarial training -- using no adversarial examples.

연구 동기 및 목표

• 적대적 학습이 어떻게 강건함을 얻는지, 그리고 그것이 로짓과 그래디언트 측면에서 무엇을 달성하는지 이해한다.
• 라벨 스무딩과 로짓 스퀴징과 같은 정규화 기법이 적대적 학습의 효과를 모방할 수 있는지 탐구한다.
• 간단한 정규화 기법과 함께 가우시안 노이즈 증강이 강건함을 강화하는 역할을 평가한다.
• 표준 데이터셋(MNIST, CIFAR-10/100)에서 empirical 강건함을 시연하고, 이를 표준적 적대적 학습과 비교한다."],
• method:[
• Decompose adversarial robustness using a linearized model relating logit gap, gradient gap, and perturbation size.
• Apply label smoothing to reduce logit gaps and mimic reduced confidence.
• Apply logit squeezing to penalize large logits and shrink gradients.
• Augment training data with Gaussian noise to regularize off-manifold inputs.
• Combine regularizers with Gaussian augmentation and evaluate against FGSM and iterative PGD attacks.
• Compare performance to standard adversarial training (e.g., Madry et al.) on MNIST, CIFAR-10, and CIFAR-100.

제안 방법

• 로그잇 간극, 그래디언트 간극, 섭동 크기 사이의 선형화된 모델을 이용해 적대적 강건성을 분해한다.
• 로짓 간극을 줄이고 신뢰도 감소를 모방하기 위해 라벨 스무딩을 적용한다.
• 큰 로짓을 제재하고 그래디언트를 축소하기 위해 로짓 스퀴징을 적용한다.
• 오-manifold 입력에 대한 정규화를 위해 가우시안 노이즈로 학습 데이터를 증강한다.
• 정규화 기법을 가우시안 증강과 결합하고 FGSM 및 반복 PGD 공격에 대해 평가한다.
• MNIST, CIFAR-10, CIFAR-100에서 표준적 적대적 학습(Madry 등)과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 라벨 스무딩과 로짓 스퀴징이 적대적 학습의 핵심 강건성 효과를 재현할 수 있는가?
• RQ2 가우시안 노이즈 증강이 이 정규화 기법들이 적대적 학습과 동등하거나 우수한 성능을 가능하게 하는 역할은 무엇인가?
• RQ3 표준 벤치마크에서 흰 박스(White-box) 대 흑 박스(adversarial threats) 공격 하에서 이 방법들이 어떻게 작동하는가?

주요 결과

• 라벨 스무딩과 가우시안 증강은 높은 강건함을 제공하며, CIFAR-10은 블랙박스 반복 공격에 대해 73%가 넘는 정확도를 달성하는 반면 최첨단 적대적 학습 모델은 64%에 불과하다.
• 화이트박스 설정에서 로짓 스퀴징과 라벨 스무딩으로 학습된 분류자는 반복 공격에서 약 50%의 정확도에 도달하는 반면, 적대적 학습은 약 47% 정도이다.
• 강한 로짓 스퀴징(예: beta=10)과 가우시안 노이즈를 사용하면 CIFAR-10에서 흰 박스 PGD-20 공격하에 Madry 등(Adversarial Training)을 능가할 수 있으며, 일부 경우에는 깨끗한 정확도도 더 좋게 나올 수 있다.
• 라벨 스무딩만으로는 강건함이 약간 감소할 수 있지만, 가우시안 증강과 함께 사용하면 그래디언트 간극을 크게 줄이고 그래디언트를 정렬시켜 강건함을 높인다.
• 가우시안 노이즈를 동반한 로짓 스퀴징은 특정 구성에서 로짓 간극을 증가시키고 그래디언트 크기를 감소시켜 적대적 학습과 유사한 강건성 패턴을 만들어 내며, CIFAR-10/100에서 특히 효과적일 수 있다.