[논문 리뷰] Adversarial Rademacher Complexity of Deep Neural Networks

Jiancong Xiao, Yanbo Fan외 2명|arXiv (Cornell University)|2022. 11. 27.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 커버링 수를 사용하여 강화된 함수 클래스를 다루기 위해 딥 네ural 네트워크(DNN)에 대한 적대적 라데마처 복잡도(ARC)의 이론적 상계를 처음으로 제시한다. DNN의 가중치 노름과 마진을 분석함으로써, 열악한 적대적 일반화를 설명하고, 정규화 기법인 가중치 감소가 강건성 향상에 기여하는 것을 검증하는 일반화 상계를 수립한다.

ABSTRACT

Deep neural networks are vulnerable to adversarial attacks. Ideally, a robust model shall perform well on both the perturbed training data and the unseen perturbed test data. It is found empirically that fitting perturbed training data is not hard, but generalizing to perturbed test data is quite difficult. To better understand adversarial generalization, it is of great interest to study the adversarial Rademacher complexity (ARC) of deep neural networks. However, how to bound ARC in multi-layers cases is largely unclear due to the difficulty of analyzing adversarial loss in the definition of ARC. There have been two types of attempts of ARC. One is to provide the upper bound of ARC in linear and one-hidden layer cases. However, these approaches seem hard to extend to multi-layer cases. Another is to modify the adversarial loss and provide upper bounds of Rademacher complexity on such surrogate loss in multi-layer cases. However, such variants of Rademacher complexity are not guaranteed to be bounds for meaningful robust generalization gaps (RGG). In this paper, we provide a solution to this unsolved problem. Specifically, we provide the first bound of adversarial Rademacher complexity of deep neural networks. Our approach is based on covering numbers. We provide a method to handle the robustify function classes of DNNs such that we can calculate the covering numbers. Finally, we provide experiments to study the empirical implication of our bounds and provide an analysis of poor adversarial generalization.

연구 동기 및 목표

• 다층 아키텍처에 대해 적대적 라데마처 복잡도(ARC)에 대한 이론적 상계가 부족한 문제를 해결하기 위해.
• ARC 정의의 최대값 연산을 분석하는 데 있어 표준 기법(예: 레이어 벗기기 및 커버링 수 방법)을 적용하기 어려운 문제를 해결하기 위해.
• 강건한 일반화 갭을 이해하고 정량화하기 위해 DNN에 대한 ARC에 대한 엄밀한 상한을 제공하기 위해.
• 가중치 노름, 마진 및 정규화(예: 가중치 감소)가 적대적 일반화에 미치는 영향을 분석함으로써 이론적 통찰을 실증적으로 검증하기 위해.

제안 방법

• 강화된 함수 클래스에 대해 커버링 수를 사용하여 DNN의 적대적 라데마처 복잡도를 상계하는 새로운 방법을 제안한다.
• DNN의 구조를 가중치 행렬 노름과 활성화 함수를 분석함으로써 ARC 정의의 최대값 연산을 다루는 기법을 도입한다.
• 층별 가중치 노름의 곱(예: 프로베니우스 노름 또는 1,∞-노름)과 학습 데이터의 마진에 의존하는 ARC에 대한 상한을 유도한다.
• 이 상한을 활용하여 강건한 일반화 갭을 분석하고, 특히 가중치 감소에 의한 정규화와의 연관성을 규명한다.
• CIFAR-10 및 CIFAR-100에서 표준 학습과 적대적 학습을 비교하기 위한 실험을 수행하여 가중치 노름, 마진 및 일반화 갭을 측정한다.
• 적대적으로 학습된 모델이 더 큰 가중치 노름 곱과 더 높은 강건한 일반화 갭을 보이며, 이는 가중치 감소에 의해 완화됨을 보여줌으로써 이론적 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 다중층을 가진 딥 네ural 네트워크에 대해 적대적 라데마처 복잡도에 대한 이론적 상한을 제공할 수 있는가?
• RQ2 특히 가중치 노름과 마진이 강건한 일반화에 미치는 영향은 어떻게 되는가?
• RQ3 가중치 감소가 가중치 노름을 제어함으로써 적대적 일반화 갭을 어느 정도 정규화하는가?
• RQ4 왜 적대적 학습은 훈련 세트에서 높은 강건한 정확도를 보임에도 불구하고 열악한 일반화를 초래하는가?
• RQ5 실제로 가중치 노름 곱과 데이터 마진은 강건한 일반화 갭과 어떻게 상관관계가 있는가?

주요 결과

• 이 연구는 커버링 수를 사용하여 딥 네ural 네트워크에 대한 적대적 라데마처 복잡도에 대한 이론적 상한을 처음으로 제공함으로써 오랫동안 남아있던 열린 문제를 해결한다.
• 상한은 강건한 일반화 갭이 층별 가중치 노름의 곱(예: 프로베니우스 노름 또는 1,∞-노름)을 데이터 마진으로 나눈 값에 비례함을 보여주며, 적대적 학습에서의 열악한 일반화를 설명한다.
• VGG-16 및 VGG-19에서의 실험 결과, 적대적으로 학습된 모델은 표준 학습 모델(~1.9e12)에 비해 훨씬 큰 가중치 노름 곱(~6e12)을 가지며, 이는 더 큰 일반화 갭과 상관관계가 있음을 보여준다.
• 가중치 감소를 적용한 적대적 학습은 가중치 노름 곱과 강건한 일반화 갭을 모두 감소시키며, 최적의 가중치 감소 범위는 [1e-3, 5e-3]이다.
• CIFAR-100에서 50,000개의 샘플로 적대적 학습을 수행한 결과, 강건한 정확도는 약 20%에 불과하며, 가중치 노름 곱은 표준 학습보다 현저히 높아지며 지속적인 일반화 문제를 시사한다.
• 제거 분석 결과, 훈련 세트의 마진은 상한에 미치는 영향이 미미하며, 주요 요인은 마진 크기보다 가중치 노름 곱임을 확인한다.