[논문 리뷰] Adversarial Robustness via Label-Smoothing

Morgane Goibert, Elvis Dohmatob|arXiv (Cornell University)|2019. 06. 27.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 11

한 줄 요약

이 논문은 아키텍처 변경이나 추가 학습 시간 없이 딥 네ural 네트워크에서 적대적 공격에 대한 강건성을 향상시키기 위한 간단하고 효율적인 방법으로 레이블 스무딩(LS)을 제안한다. 진짜 레이블에서 다른 클래스로 확률 질량을 재분배함으로써(특히 적대적 및 볼츠만 변형을 통해), MNIST, CIFAR10, SVHN에서 강건성이 향상되며, C&W와 같은 강력한 공격에 대해 경쟁적인 성능을 기록한다. 자연 학습보다는 뛰어나지만, 모든 경우에서 PGD 적대적 학습을 능가하진 않는다.

ABSTRACT

We study Label-Smoothing as a means for improving adversarial robustness of supervised deep-learning models. After establishing a thorough and unified framework, we propose several variations to this general method: adversarial, Boltzmann and second-best Label-Smoothing methods, and we explain how to construct your own one. On various datasets (MNIST, CIFAR10, SVHN) and models (linear models, MLPs, LeNet, ResNet), we show that Label-Smoothing in general improves adversarial robustness against a variety of attacks (FGSM, BIM, DeepFool, Carlini-Wagner) by better taking account of the dataset geometry. The proposed Label-Smoothing methods have two main advantages: they can be implemented as a modified cross-entropy loss, thus do not require any modifications of the network architecture nor do they lead to increased training times, and they improve both standard and adversarial accuracy.

연구 동기 및 목표

• 레이블 스무딩이 딥 러닝에서 적대적 공격에 대한 효과적이고 경량의 방어 수단이 될 수 있는지 조사하는 것.
• 기존 연구를 일반화하고 새로운 변형을 가능하게 하는 통합된 이론적 및 실용적 프레임워크를 개발하는 것.
• 다양한 데이터셋(MNIST, CIFAR10, SVHN)과 모델(MLP, LeNet, ResNet)에서 레이블 스무딩의 강건성 및 일반화 이점 평가하는 것.
• 표준 정확도와 강건 정확도 측면에서 PGD 적대적 학습 및 자연 학습과 같은 강력한 기준 모델과의 성능 비교하는 것.
• 레이블 스무딩이 데이터셋 기하학을 더 잘 포착하고 모델의 과도한 확신을 줄여 일반화를 향상시키는 방식으로 작용함을 입증하는 것.

제안 방법

• 일반화된 레이블 스무딩 프레임워크를 제안하여, one-hot 레이블을 진짜 클래스에 가까운 스무딩된 분포로 대체함으로써 통제된 불확실성을 도입한다.
• 세 가지 새로운 LS 변형을 도입: 적대적 LS(Als), 볼츠만 LS(BLS), 두 번째로 좋은 LS(SBLS). 각각 다른 스무딩 전략을 통해 강건성을 향상시키기 위해 설계되었다.
• ALS는 진짜 클래스가 아닌 클래스들 중 로짓이 가장 높은 클래스로 확률 질량을 재분배하여, 가장 가능성 있는 잘못된 분류에 초점을 맞춰 강건성을 향상시킨다.
• BLS는 로짓에 온도 조절된 소프트맥스를 적용하여 스무딩된 레이블을 생성함으로써, 더 부드러운 확률 분포를 만들고 과도한 확신을 줄인다.
• SBLS는 질량을 두 번째로 높은 점수를 받는 클래스로 재분배하여, 표준 LS와 ALS 사이의 균형을 이룬다.
• 모든 방법은 네트워크 아키텍처 변경 없이 수정된 크로스 엔트로피 손실로 구현되며, 추가 학습 시간이 들지 않는다.

실험 결과

연구 질문

• RQ1 레이블 스무딩은 아키텍처 수정 없이도 학습 비용 증가 없이 딥 네럴 네트워크의 적대적 강건성을 향상시킬 수 있는가?
• RQ2 FGSM, BIM, DeepFool, C&W와 같은 다양한 적대적 공격에 대해 ALS, BLS, SBLS와 같은 레이블 스무딩 변형 간의 강건성 수준은 어떻게 비교되는가?
• RQ3 레이블 스무딩은 표준 정확도와 적대적 정확도를 모두 향상시키는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 레이블 스무딩은 모델 일반화와 데이터셋 기하학, 특히 과도한 확신 감소와 어떤 관련이 있는가?
• RQ5 레이블 스무딩은 PGD 적대적 학습과 같은 최첨단 방어 기법에 비해 강건성과 정확도 측면에서 어느 정도 경쟁력을 가질 수 있는가?

주요 결과

• 레이블 스무딩은 모든 데이터셋(MNIST, CIFAR10, SVHN)과 모델(MLP, LeNet, ResNet)에서 일관되게 적대적 강건성을 향상시키며, 자연 학습보다 모든 경우에서 뛰어나다.
• 적대적 레이블 스무딩(Als)과 볼츠만 레이블 스무딩(BLS)이 가장 뛰어난 강건성을 기록하며, 표준 LS와 SBLS를 크게 능가한다.
• LeNet을 사용한 MNIST에서 ALS와 BLS는 FGSM 및 BIM 공격에 대해 PGD 적대적 학습과 동일하거나 이를 초월하며, C&W 공격에 대해서는 이를 뛰어넘는다.
• CIFAR10과 SVHN에서, 공격 강도 ε가 중간 수준일 경우, PGD 학습에 비해 LS 방법이 더 높은 성능을 기록한다. 비록 PGD의 학습 비용이 더 높지만 말이다.
• BLS의 온도 하이퍼파rameter는 성능에 거의 영향을 주지 않으며, T=0.001이 강건한 기본값으로 기능한다.
• 레이블 스무딩은 표준 정확도와 적대적 정확도를 모두 향상시키며, 과도한 확신 감소를 통해 강건성과 일반화 간의 강력한 연관성을 시사한다.