[논문 리뷰] On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them

Chen Liu, Mathieu Salzmann외 3명|arXiv (Cornell University)|2020. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 26

한 줄 요약

이 논문은 적대적 훈련에서 큰 적대적 예산이 손실 곡면의 더 어려운 구조로 이어지며, 곡률이 증가하고 기울기가 산산이 흩어지며 최소값이 더 날카롭게 되어 최적화를 어렵게 한다고 밝힌다. 이를 해결하기 위해, 훈련 중에 적대적 예산을 주기적으로 조정하는 Periodic Adversarial Scheduling (PAS)를 제안하며, 이는 계산적 오버헤드 없이도 강건한 정확도를 향상시키고 학습률 설정에 대한 민감도를 감소시킨다.

ABSTRACT

We analyze the influence of adversarial training on the loss landscape of machine learning models. To this end, we first provide analytical studies of the properties of adversarial loss functions under different adversarial budgets. We then demonstrate that the adversarial loss landscape is less favorable to optimization, due to increased curvature and more scattered gradients. Our conclusions are validated by numerical analyses, which show that training under large adversarial budgets impede the escape from suboptimal random initialization, cause non-vanishing gradients and make the model find sharper minima. Based on these observations, we show that a periodic adversarial scheduling (PAS) strategy can effectively overcome these challenges, yielding better results than vanilla adversarial training while being much less sensitive to the choice of learning rate.

연구 동기 및 목표

• 적대적 예산의 크기가 적대적 훈련 중 딥 러닝 모델의 손실 곡면에 미치는 영향을 분석하는 것.
• 큰 적대적 예산 하에서 곡률 증가, 기울기 산산이 흩어짐, 날카로운 최소값 등 최적화 과제를 특정하는 것.
• 적대적 예산 크기가 수렴 속도, 일반화 갭, 모델 연결성에 미치는 영향을 조사하는 것.
• 계산 비용 증가 없이도 훈련 안정성과 강건성을 향상시키는 스케줄링 전략을 제안하는 것.
• 주기적인 적대적 예산 스케줄링이 기존의 적대적 훈련보다 더 나은 성능을 내는지 검증하는 것.

제안 방법

• 다양한 적대적 예산 하에서 성질을 도출하기 위해 선형 모델을 사용한 적대적 손실 함수의 이론적 분석.
• 손실 곡면의 곡률에 대한 수치적 및 헤시안 기반 분석을 통해 이론적 발견을 비선형 딥 네트워크로 확장.
• 훈련 중에 점차 증가하고 감소하는 적대적 예산을 조정하는 주기적 전략인 Periodic Adversarial Scheduling (PAS) 도입.
• 파arameter 공간 내 최소값 간의 연결성을 평가하기 위해 베지에 곡선을 사용.
• LeNet 및 ResNet 아키텍처를 사용한 MNIST 및 CIFAR-10 데이터셋을 대상으로 다양한 스케줄링 전략 하에서의 실증적 평가.
• 경로 손실과 연결성을 추정하기 위해 베지에 곡선을 기반으로 한 최적화를 수행하며, 경로를 따라 배치 정규화 통계치를 재계산.

실험 결과

연구 질문

• RQ1 적대적 예산의 크기가 적대적 손실 곡면의 부드러움과 곡률에 어떤 영향을 미치는가?
• RQ2 왜 큰 예산을 가진 적대적 훈련은 수렴 속도를 저하시키고 기울기가 사라지지 않는가?
• RQ3 적대적 훈련에서 일반화 갭은 무엇 때문에 발생하는가, 그리고 손실 곡면의 기하학과 어떤 관련이 있는가?
• RQ4 적대적 예산의 동적 스케줄링이 최적화 안정성과 강건한 정확도를 향상시킬 수 있는가?
• RQ5 비틀린 훈련 곡면에 비해 적대적 손실 곡면 내 최소값은 얼마나 잘 연결되어 있는가?

주요 결과

• 큰 적대적 예산은 손실 곡면의 곡률을 증가시키고 기울기 산산이 흩어지게 하여 최적화를 더욱 어렵게 한다.
• 큰 예산 하에서 훈련하면 국소 최적값에 갇혀서 탈출하기 어려워지고, 최종 훈련 단계에서 기울기가 사라지지 않는다.
• 헤시안 분석을 통해 큰 적대적 예산 하에서 발견된 최소값은 작은 예산 하에서의 최소값보다 현저히 더 날카롭다는 것이 확인되었다.
• Periodic Adversarial Scheduling (PAS)는 다양한 모델 크기와 데이터셋에서 기존의 적대적 훈련보다 강건한 정확도에서 뛰어난 성능을 보였다.
• PAS는 학습률 설정에 대한 민감도를 감소시켰으며, MNIST 및 CIFAR-10에서 다양한 학습률 설정에서도 일관된 성능을 보였다.
• 특히 큰 예산 하에서는 비틀린 훈련 곡면에 비해 적대적 손실 곡면 내 최소값이 덜 잘 연결되어 있으며, 이는 훈련된 모델을 연결하는 비평탄한 베지에 곡선을 통해 확인되었다.