[논문 리뷰] Exploring Memorization in Adversarial Training

Yinpeng Dong, Ke Xu외 5명|arXiv (Cornell University)|2021. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 78인용 수 15

한 줄 요약

이 논문은 적대적 훈련(AT)에서의 기억화(memorization)를 조사하여, 깊은 신경망이 랜덤 레이블을 가진 적대적 예제를 기억할 수 있음을 밝혀내며, 이는 기울기 불안정성과 강건한 과적합을 유도한다—특히 one-hot 레이블 인코딩으로 인해 발생한다. 저자들은 과신된 예측을 줄임으로써 강건한 일반화를 향상시키는 보완 방법인 TE(Temperature-based Evidential regularization)를 제안한다. 이는 PGD와 AutoAttack 하에서 기존 기법들인 레이블 스무딩과 지식 증착보다 뛰어난 성능을 보였다. CIFAR-10에서의 실험 결과, TE는 PGD-1000 기준 54.83%의 테스트 정확도와 AutoAttack 기준 51.73%의 정확도를 기록하였다.

ABSTRACT

Deep learning models have a propensity for fitting the entire training set even with random labels, which requires memorization of every training sample. In this paper, we explore the memorization effect in adversarial training (AT) for promoting a deeper understanding of model capacity, convergence, generalization, and especially robust overfitting of the adversarially trained models. We first demonstrate that deep networks have sufficient capacity to memorize adversarial examples of training data with completely random labels, but not all AT algorithms can converge under the extreme circumstance. Our study of AT with random labels motivates further analyses on the convergence and generalization of AT. We find that some AT approaches suffer from a gradient instability issue and most recently suggested complexity measures cannot explain robust generalization by considering models trained on random labels. Furthermore, we identify a significant drawback of memorization in AT that it could result in robust overfitting. We then propose a new mitigation algorithm motivated by detailed memorization analyses. Extensive experiments on various datasets validate the effectiveness of the proposed method.

연구 동기 및 목표

• 적대적 훈련 하에서 깊은 신경망이 랜덤 레이블을 가진 적대적 예제를 기억할 수 있는지 조사하기 위해.
• 극단적 기억화 조건 하에서 AT 방법의 수렴 및 일반화 행동을 분석하기 위해.
• AT에서 강건한 과적합의 근본 원인을 특정하고, 특히 one-hot 레이블의 역할을 규명하기 위해.
• 과신된 예측을 줄이고 강건한 일반화를 향상시키는 새로운 보완 방법을 제안하기 위해.

제안 방법

• 저자들은 랜덤 레이블을 사용하여 PGD-AT와 TRADES를 수행하여 기억화 능력과 수렴 성능를 테스트하였다.
• PGD-AT는 랜덤 레이블에서 수렴하지 못하는 데 기인한 기울기 크기와 안정성을 분석하여, 왜 PGD-AT는 실패하고 TRADES는 성공하는지 설명하였다.
• 랜덤 레이블로 훈련된 모델에 대해 기존의 복잡도 측정법을 평가하여, 이들이 강건한 일반화를 설명하는 데 얼마나 효과적인지 평가하였다.
• 제안된 방법인 TE(Temperature-based Evidential regularization)는 one-hot 레이블을 온도 조절형 소프트맥스를 통해 소프트 레이블로 대체하여 과신된 예측을 줄인다.
• TE는 PGD-AT에 통합되어 다양한 위협 모델과 데이터셋에서 평가되었다.
• ResNet-18 기반 CIFAR-10에서 PGD-10, PGD-1000, C&W-1000, AutoAttack를 사용하여 TE를 레이블 스무딩, SAT, KD-SWA, Co-teaching와 비교하였다.

실험 결과

연구 질문

• RQ1 적대적 훈련 하에서 깊은 신경망은 완전히 랜덤한 레이블을 가진 적대적 예제를 기억할 수 있는가?
• RQ2 왜 일부 AT 방법들인 PGD-AT는 랜덤 레이블에서 수렴하지 못하는 반면, TRADES 같은 다른 방법들은 성공하는가?
• RQ3 모델이 랜덤 레이블로 훈련되었을 때, 기존의 복잡도 측정법들이 강건한 일반화를 설명할 수 있는가?
• RQ4 적대적 훈련에서 강건한 과적합의 원인은 무엇이며, 레이블 표현을 수정함으로써 이를 완화할 수 있는가?
• RQ5 one-hot 레이블을 소프트 레이블로 대체하면 AT에서 강건한 일반화가 향상되는가?

주요 결과

• PGD-AT는 랜덤 레이블을 가진 예제로 훈련할 경우 기울기 불안정성으로 인해 수렴하지 못하지만, TRADES는 안정성을 유지한다.
• DNN은 랜덤 레이블을 가진 적대적 예제를 기억할 수 있는 충분한 능력을 지닌다. 이는 극단적 조건에서도 기억화가 가능함을 시사한다.
• 표준 복잡도 측정법은 랜덤 레이블로 훈련된 모델에 대해 강건한 일반화를 설명하지 못하며, 이는 이론적 이해의 격차를 시사한다.
• AT에서의 강건한 과적합은 주로 one-hot 레이블을 기억하기 때문이며, 이는 决策 경계 근처의 적대적 예제에 부적절하다.
• CIFAR-10에서 PGD-1000 기준 54.83%의 테스트 정확도와 AutoAttack 기준 51.73%의 정확도를 기록하며, TE는 PGD-AT, PGD-AT + LS, SAT, KD-SWA, Co-teaching보다 높은 강건한 정확도를 확보하였다.
• TE는 과신된 예측을 줄이고 일반화 능력을 향상시키며, 레이블 스무딩 및 기타 정규화 기법보다 강건한 과적합 완화에 뛰어난 성능을 보였다.