[논문 리뷰] Rethinking Softmax Cross-Entropy Loss for Adversarial Robustness

Tianyu Pang, Kun Xu외 4명|arXiv (Cornell University)|2019. 05. 25.

Adversarial Robustness in Machine Learning참고 문헌 72인용 수 75

한 줄 요약

본 논문은 Max-Mahalanobis Center (MMC) 손실을 도입하여 조밀하고 잘 구조화된 피처 영역을 명시적으로 유도하고, 강한 적대적 공격 하에서도 깔끔한 정확도와 더 빠른 수렴을 제공하며 SCE(Softmax Cross-Entropy) 대비 더 빠른 수렴을 유지하고, 심지어 강력한 적응 공격 하에서도 견고성을 개선한다.

ABSTRACT

Previous work shows that adversarially robust generalization requires larger sample complexity, and the same dataset, e.g., CIFAR-10, which enables good standard accuracy may not suffice to train robust models. Since collecting new training data could be costly, we focus on better utilizing the given data by inducing the regions with high sample density in the feature space, which could lead to locally sufficient samples for robust learning. We first formally show that the softmax cross-entropy (SCE) loss and its variants convey inappropriate supervisory signals, which encourage the learned feature points to spread over the space sparsely in training. This inspires us to propose the Max-Mahalanobis center (MMC) loss to explicitly induce dense feature regions in order to benefit robustness. Namely, the MMC loss encourages the model to concentrate on learning ordered and compact representations, which gather around the preset optimal centers for different classes. We empirically demonstrate that applying the MMC loss can significantly improve robustness even under strong adaptive attacks, while keeping state-of-the-art accuracy on clean inputs with little extra computation compared to the SCE loss.

연구 동기 및 목표

• 더 많은 데이터에 의존하기보다는 피처 분포를 형성하여 제한적이거나 고정된 학습 데이터로 견고한 분류를 유도한다.
• SCE 및 그 변형이 피처 공간의 밀도에 어떤 영향을 미치는지 형식적으로 분석하고 한계를 식별한다.
• 각 클래스에 대해 고밀도의 중심화된 피처 영역을 유도하기 위한 MMC 손실을 제안한다.
• 다양한 위협 모델에서 MMC의 견고성 이점을 입증하면서 깔끔한 정확도와 효율적인 학습을 유지한다.

제안 방법

• 피처 공간에서 샘플 밀도를 정의하고 일반화된 SCE(g-SCE) 손실 하의 밀도를 분석한다.
• SCE 및 그 변형들이 소프트맥스 기반의 감독으로 인해 희박한 피처 분포를 초래한다는 것을 보인다.
• MMC 손실 제안: L_MMC(Z(x),y) = 1/2 || z - μ_y^* ||^2, 고정된 중심 μ^*들이 서로 다른 클래스 간 최적 분산을 형성하는 Max-Mahalanobis Distribution(MMD)을 형성한다.
• 두 중심 사이의 최소 각도를 최대화하는 사전 설정된 클래스 중심 μ^*를 계산하고 활용한다 (||μ_l^*||_2 = C_MM).
• MMC가 더 높은 로컬 피처 밀도(정리 2)를 제공하고 성능 저하 문제 없이 모델 용량을 더 잘 활용한다고 주장한다.
• MNIST, CIFAR-10, CIFAR-100에서 적대적 학습 유무에 상관없이 Center, MMLDA, L-GM 손실과 MMC를 비교한다.

실험 결과

연구 질문

• RQ1 SCE 기반 손실이 피처 공간에서 학습된 피처의 밀도를 어떻게 형성하는가?
• RQ2 고밀도 중심 피처 영역을 명시적으로 유도하는 것이 깨끗한 정확도를 손상시키지 않으면서 적대적 견고성을 향상시킬 수 있는가?
• RQ3 고정된 클래스 중심(μ^*)의 사용이 강건성과 수렴에 대해 학습 가능한 중심에 비해 어떤 영향을 미치는가?
• RQ4 MMC가 표준 손실 및 기존 중심 기반 방법에 비해 적응형 화이트박스 및 블랙박스 적대적 공격에서 어떻게 수행하는가?

주요 결과

• MMC는 고정된 클래스 중심 주변에서 더 높은 로컬 피처 밀도를 산출하여 추가 계산 비용이 제한된 상황에서도 견고성을 촉진한다.
• MMC는 강력한 적응형 공격에서도 견고성을 달성하고 깨끗한 정확도는 SCE 기준선과 비슷하게 유지한다.
• 무작위로 샘플링된 중심 집합(MMC-10 rand)은 이미 여러 기준선보다 우수하고, 최적의 μ^*가 추가 이득을 제공한다.
• MMC는 빠르게 수렴하고 SCE와의 공동 최적화가 필요한 중심 기반 손실보다 모델 용량을 더 잘 활용한다.
• 적대적 학습과 결합될 때 MMC는 학습 공격과 다른 공격들에 대한 견고성을 향상시킨다.
• 센터가 고정되어 훈련 중에 drift하지 않기 때문에 감소 문제를 피한다.