[논문 리뷰] Improving Adversarial Robustness via Guided Complement Entropy

Haoyun Chen, Jhao-Hong Liang외 5명|arXiv (Cornell University)|2019. 03. 23.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 7

한 줄 요약

이 논문은 추가 절차 없이 성능 저하 없이 적대적 로버스트성을 향상시키는 새로운 학습 목표인 가이드드 커플리먼트 엔트로피(GCE)를 제안한다. 지도된 균형 항목을 통해 올바른 클래스 확률을 동시에 최대화하고 잘못된 클래스 확률을 억제함으로써, GCE는 잠재 공간 내 특징의 분리도를 향상시켜 PGD 공격 하에서 CIFAR-10과 MNIST에서 최신 기술 수준의 로버스트성과 정확도를 달성한다.

ABSTRACT

Adversarial robustness has emerged as an important topic in deep learning as carefully crafted attack samples can significantly disturb the performance of a model. Many recent methods have proposed to improve adversarial robustness by utilizing adversarial training or model distillation, which adds additional procedures to model training. In this paper, we propose a new training paradigm called Guided Complement Entropy (GCE) that is capable of achieving "adversarial defense for free," which involves no additional procedures in the process of improving adversarial robustness. In addition to maximizing model probabilities on the ground-truth class like cross-entropy, we neutralize its probabilities on the incorrect classes along with a "guided" term to balance between these two terms. We show in the experiments that our method achieves better model robustness with even better performance compared to the commonly used cross-entropy training objective. We also show that our method can be used orthogonal to adversarial training across well-known methods with noticeable robustness gain. To the best of our knowledge, our approach is the first one that improves model robustness without compromising performance.

연구 동기 및 목표

• 적대적 훈련이나 딜리게이션에 의존하지 않고도 적대적 로버스트성을 향상시키는 학습 프레임워크를 개발하는 것.
• 기존 방어 방법에서 흔히 발생하는 로버스트성과 클린 정확도 간의 트레이드오���을 해결하는 것.
• '무료로 적대적 방어'를 실현하는 것—추가적인 계산 부담이나 모델 종속성 없이 로버스트성을 향상시키는 것.
• 보완적 확률 억제를 통해 잠재 공간 내 더 나은 클래스 분리도를 유도하는 손실 함수를 설계하는 것.
• 기존의 방어 방법(예: PGD 적대적 훈련)과의 호환성과 향상 가능성을 입증하는 것.

제안 방법

• 교차 엔트로피에 잘못된 클래스 확률에 대한 페널티를 추가한 새로운 손실 함수인 가이드드 커플리먼트 엔트로피(GCE)를 제안한다.
• 올바른 클래스 최대화와 잘못된 클래스 억제를 균형 잡기 위해 지수적으로 증가하는 지도된 항목을 도입한다.
• 표준 교차 엔트로피 대신 GCE 손실을 사용하여 경험적 리스크 최소화(ERM)를 통해 모델을 훈련시킨다.
• 학습 중에 적대적 예제를 생성하기 위해 XE 손실을 사용한 PGD 적대적 공격 프레임워크를 적용하지만, 모델 최적화에는 GCE를 사용한다.
• t-SNE를 활용해 잠재 공간을 시각화하여, GCE가 교차 엔트로피보다 더 명확하고 겹치지 않는 클래스 클러스터를 생성함을 확인한다.
• 표준 훈련 및 적대적 훈련 설정(예: MNIST의 40회 반복, CIFAR-10의 10회 반복)을 활용해 PGD 공격 하에서의 로버스트성을 평가한다.

실험 결과

연구 질문

• RQ1 학습 중에 적대적 예제나 테이처 모델을 추가하지 않아도 적대적 로버스트성이 향상될 수 있는가?
• RQ2 올바른 클래스 가능성 확률을 최대화하면서 잘못된 클래스 확률을 억제하면 일반화 및 로버스트성이 향상되는가?
• RQ3 새로운 손실 함수가 전형적인 성능 트레이드오프를 피하면서도 더 높은 클린 정확도와 로버스트성을 동시에 달성할 수 있는가?
• RQ4 잠재 공간 내 분리도와 적대적 로버스트성 측면에서 GCE는 교차 엔트로피 및 적대적 훈련보다 어떻게 비교되는가?
• RQ5 GCE는 기존의 적대적 훈련 방법과 효과적으로 조합되어 더 강력한 로버스트성을 달성할 수 있는가?

주요 결과

• CIFAR-10에서 GCE로 훈련된 모델은 교차 엔트로피 대비 클린 정확도에서 최대 10.14%의 상대적 향상을 달성했다.
• CIFAR-10에서 ε=0.08로 설정한 PGD 공격 하에서, GCE는 교차 엔트로피 대비 최대 5.91% 높은 로버스트 정확도를 기록했다.
• MNIST에서 ε=0.3일 때, GCE는 83.85%의 로버스트 정확도를 기록했고, XE는 83.67%를 기록하여 일관된 향상을 보였다.
• t-SNE 시각화 결과, GCE가 교차 엔트로피보다 더 분리도가 높고 겹치지 않는 클래스 클러스터를 생성함을 확인했다.
• GCE는 로버스트성을 향상시키는 동안 클린 정확도를 유지하거나 향상시켜, 일반적으로 로버스트성이 성능 저하를 동반한다는 공통된 믿음을 뒤집었다.
• GCE는 PGD 적대적 훈련과 조합하여 더 강력한 로버스트성을 달성할 수 있었으며, 이는 존재하는 방법들과 상호 보완적임을 보여주었다.