[논문 리뷰] Revisiting Loss Landscape for Adversarial Robustness

Dongxian Wu, Yisen Wang외 1명|arXiv (Cornell University)|2020. 04. 13.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 10

한 줄 요약

이 논문은 적대적 훈련 중에 적대적 손실 표면의 평탄함을 정규화하는 단순하면서도 효과적인 모듈인 적대적 가중치 편항(AWP)을 제안한다. 이는 적대적 로버스트니를 향상시킨다. 실험 결과 AWP는 손실 표면을 평탄하게 하고, 다양한 적대적 훈련 변형에서 로버스트니를 향상시킨다.

ABSTRACT

The study on improving the robustness of deep neural networks against adversarial examples grows rapidly in recent years. Among them, adversarial training is the most promising one, based on which, a lot of improvements have been developed, such as adding regularizations or leveraging unlabeled data. However, these improvements seem to come from isolated perspectives, so that we are curious about if there is something in common behind them. In this paper, we investigate the surface geometry of several well-recognized adversarial training variants, and reveal that their adversarial loss landscape is closely related to the adversarially robust generalization, i.e., the flatter the adversarial loss landscape, the smaller the adversarially robust generalization gap. Based on this finding, we then propose a simple yet effective module, Adversarial Weight Perturbation (AWP), to directly regularize the flatness of the adversarial loss landscape in the adversarial training framework. Extensive experiments demonstrate that AWP indeed owns flatter landscape and can be easily incorporated into various adversarial training variants to enhance their adversarial robustness further.

연구 동기 및 목표

• 일반적인 적대적 훈련 개선 방법들이 손실 표면의 기하학적 성질을 공유하는지 조사하기 위해.
• 적대적 손실 표면의 평탄함과 적대적 로버스트 일반화 간의 관계를 탐구하기 위해.
• 손실 표면의 평탄함을 직접 최적화하여 로버스트니를 향상시키는 통합된 정규화 방법을 개발하기 위해.
• 제안된 방법이 다양한 적대적 훈련 프레임워크에서 효과적인지 입증하기 위해.

제안 방법

• 저자는 여러 적대적 훈련 변형의 표면 기하학을 분석하여 손실 표면에서 공통적인 패tern을 식별한다.
• 그들은 적대적 예제 기울기 방향으로 가중치를 편향시키는 방식으로, 더 평탄한 적대적 손실 표면을 유도하는 Adversarial Weight Perturbation(AWP)를 도입한다.
• AWP는 표준 적대적 훈련 루프에 통합되며, 네트워크 가중치를 적대적 예제 기울기 방향으로 편향시킨다.
• 이 방법은 모듈식이며 다양한 기존의 적대적 훈련 접근법과 호환되도록 설계되어 있다.
• 적대적 손실 표면의 평탄함을 측정하고 일반화 성능와 관련지어 분석한다.

실험 결과

연구 질문

• RQ1 성공적인 적대적 훈련 방법들이 공통적으로 손실 표면의 평탄함이라는 기하학적 성질을 공유하는가?
• RQ2 적대적 손실 표면의 평탄함은 적대적 로버스트 일반화 갭의 크기와 어떻게 관련이 있는가?
• RQ3 손실 표면의 평탄함을 명시적으로 정규화하면 다양한 훈련 프레임워크에서 적대적 로버스트니가 향상되는가?
• RQ4 제안된 AWP 모듈은 실질적으로 적대적 손실 표면을 평탄하게 하는가?

주요 결과

• 다양한 훈련 변형에서 평탄한 적대적 손실 표면은 항상 더 작은 적대적 로버스트 일반화 갭과 관련이 있다.
• 측정된 평탄함 지표를 통해 AWP는 적대적 손실 표면을 성공적으로 평탄하게 한다.
• AWP는 다양한 기존의 적대적 훈련 프레임워크에 통합되었을 때도 적대적 로버스트니를 향상시킨다.
• AWP의 개선 효과는 일관되고 뚜렷하여 그 효과성과 일반화 능력을 입증한다.