[논문 리뷰] Adversarial Robustness via Adversarial Label-Smoothing.

Morgane Goibert, Elvis Dohmatob|arXiv (Cornell University)|2019. 06. 27.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 딥러닝 모델의 적대적 로버스트성을 향상시키기 위해 적대적, 볼츠만, 두 번째로 좋은 레이블 스무딩 기법을 제안한다. 데이터셋 기하학적 특성을 더 잘 반영하도록 교차 엔트로피 손실를 수정함으로써, 아키텍처 변경 없이도 학습 시간이 증가하지 않으면서 표준 정확도와 적대적 정확도를 모두 향상시킨다. 이 방법들은 다양한 데이터셋과 모델에서 표준 레이블 스무딩보다 뛰어난 성능을 보였다.

ABSTRACT

We study Label-Smoothing as a means for improving adversarial robustness of supervised deep-learning models. After establishing a thorough and unified framework, we propose several novel Label-Smoothing methods: adversarial, Boltzmann and second-best Label-Smoothing methods. On various datasets (MNIST, CIFAR10, SVHN) and models (linear models, MLPs, LeNet, ResNet), we show that these methods improve adversarial robustness against a variety of attacks (FGSM, BIM, DeepFool, Carlini-Wagner) by better taking account of the dataset geometry. These proposed Label-Smoothing methods have two main advantages: they can be implemented as a modified cross-entropy loss, thus do not require any modifications of the network architecture nor do they lead to increased training times, and they improve both standard and adversarial accuracy.

연구 동기 및 목표

• 레이블 스무딩을 사용하여 감독 학습 기반 딥러닝 모델의 적대적 로버스트성을 향상시키는 것.
• 레이블 스무딩의 기하학적 특성을 통합함으로써 표준 레이블 스무딩이 적대적 예제를 다루는 데 한계를 보이는 문제를 해결하는 것.
• 모델 아키텍처를 변경하지 않거나 학습 시간을 늘리지 않으면서도 로버스트성을 향상시키는 레이블 스무딩 변종을 개발하는 것.
• 적대적 로버스트성 맥락에서 레이블 스무딩 접근법을 통합하고 체계적으로 평가하는 것.

제안 방법

• 적대적 레이블 스무딩을 제안하며, 이는 적대적 편향이 가해진 상황에서 모델의 예측에 기반해 레이블 분포를 조정한다.
• 볼츠만 레이블 스무딩을 도입하며, 이는 온도 조절된 소프트맥스를 사용해 클래스 신뢰도에 따라 레이블을 스무딩한다.
• 두 번째로 좋은 레이블 스무딩을 개발하며, 이는 두 번째로 가능성 있는 클래스에 더 높은 확률을 할당해 로버스트성을 향상시킨다.
• 모든 방법은 수정된 교차 엔트로피 손실로 구현되어 있으며, 아키텍처 변경 없이 즉시 통합 가능하다.
• 이 프레임워크는 레이블 스무딩을 공통 이론적 기반으로 통합하며, 데이터셋의 기하학적 특성을 강조한다.
• 표준 최적화를 사용해 엔드 투 엔드로 학습되며, 학습 효율성이 유지된다.

실험 결과

연구 질문

• RQ1 표준 레이블 스무딩을 초월해 적대적 로버스트성을 향상시키기 위해 레이블 스무딩을 효과적으로 적응시킬 수 있는가?
• RQ2 적대적 로버스트성과 정확도 측면에서 적대적, 볼츠만, 두 번째로 좋은 레이블 스무딩 전략 간의 성능 비교는 어떻게 되는가?
• RQ3 이러한 방법들이 학습 비용을 증가시키지 않으면서도 적대적 공격 하에서 일반화 성능을 얼마나 향상시키는가?
• RQ4 레이블 스무딩에 데이터셋 기하학을 통합할 경우, 다양한 모델과 데이터셋에서 로버스트성이 어떻게 향상되는가?

주요 결과

• 제안된 레이블 스무딩 방법들은 MNIST, CIFAR10, SVHN 등 다양한 데이터셋에서 적대적 로버스트성을 향상시켰다.
• 모든 방법이 FGSM, BIM, DeepFool, Carlini-Wagner 공격 하에서 표준 정확도와 로버스트 정확도를 모두 향상시켰다.
• 모델 아키텍처 수정 없이도 학습 시간 증가 없이 로버스트성을 향상시켰다.
• 적대적 레이블 스무딩은 데이터셋 기하학을 잘 포착해 강력한 로버스트성 향상을 이뤘다.
• 선형 모델, MLP, LeNet, ResNet 등 다양한 모델에서 일관된 개선 효과를 보였다.
• 모든 평가 기준에서 표준 레이블 스무딩보다 레이블 스무딩 변종이 표준 정확도와 적대적 정확도에서 뛰어난 성능을 보였다.