[논문 리뷰] Rademacher Complexity for Adversarially Robust Generalization

Dong Yin, Kannan Ramchandran외 1명|arXiv (Cornell University)|2018. 10. 29.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 64

한 줄 요약

이 논문은 L-infinity 공격에 대한 적대적으로 강건한 일반화 문제를 Rademacher 복잡도를 이용해 분석하고, 이진 및 다중 클래스 선형 분류기에 대한 타이트한 경계와 명시적인 차원 의존성을 보여주며, 신경망 및 대리 손실에 대한 결과를 제시합니다.

ABSTRACT

Many machine learning models are vulnerable to adversarial attacks; for example, adding adversarial perturbations that are imperceptible to humans can often make machine learning models produce wrong predictions with high confidence. Moreover, although we may obtain robust models on the training dataset via adversarial training, in some problems the learned models cannot generalize well to the test data. In this paper, we focus on $\ell_\infty$ attacks, and study the adversarially robust generalization problem through the lens of Rademacher complexity. For binary linear classifiers, we prove tight bounds for the adversarial Rademacher complexity, and show that the adversarial Rademacher complexity is never smaller than its natural counterpart, and it has an unavoidable dimension dependence, unless the weight vector has bounded $\ell_1$ norm. The results also extend to multi-class linear classifiers. For (nonlinear) neural networks, we show that the dimension dependence in the adversarial Rademacher complexity also exists. We further consider a surrogate adversarial loss for one-hidden layer ReLU network and prove margin bounds for this setting. Our results indicate that having $\ell_1$ norm constraints on the weight matrices might be a potential way to improve generalization in the adversarial setting. We demonstrate experimental results that validate our theoretical findings.

연구 동기 및 목표

• L-infinity 교란하에서의 적대적으로 강건한 일반화 연구를 동기부여하고 형식화한다.
• 선형 및 다중 클래스 선형 분류기를 위한 적대적 Rademacher 복잡도를 특성화한다.
• 신경망까지 분석을 확장하고 대리 손실 및 마진 경계(margin bounds)를 탐구한다.
• 적대적 일반화를 개선하기 위한 잠재적 방법으로 norm 기반 규제(특히 L1)를 제안한다.
• 이론적 발견의 실험적 검증을 제공한다.

제안 방법

• L-infinity 교란하의 적대적 위험 및 그 경험적 대응을 정의한다.
• 적대적 손실 클래스에 대한 모집단 위험과 경험적 위험을 Rademacher 복잡도와 연관시킨다.
• 이진 선형 분류기에서 자연스러운 Rademacher 복잡도와 적대적 Rademacher 복잡도를 비교하며 경계들을 도출한다.
• 마진 기반 경계와 함께 다중 클래스 선형 분류기로 확장한다.
• 노름 제약하에서 차원 의존성을 보이는 적대적 Rademacher 복잡도에 대해 신경망을 분석한다.
• 하나의 은닉층 ReLU 네트워크에 대한 대리적 적대적 손실을 연구하고 L1 제약 하에서 마진 경계를 증명한다.

실험 결과

연구 질문

• RQ1 L-infinity 공격하에서 이진 선형 분류의 적대적 Rademacher 복잡도에 대한 타이트한 경계는 무엇인가?
• RQ2 적대적 Rademacher 복잡도는 선형 및 다중 클래스 선형 분류기에 대해 자연적 설정과 어떻게 비교되는가?
• RQ3 신경망에서의 적대적 설정에 어떤 차원 의존성이 나타나며, L1과 같은 노름 제약으로 이를 완화할 수 있는가?
• RQ4 다중 클래스 및 신경망 모델에 대한 적대적 교란 하에서 마진 경계가 존재하는가, 어떤 조건에서?
• RQ5 대리적 적대적 손실(SDP-relaxed 등)이 차원 의존성이 제한된 마진 경계를 제공하는가?

주요 결과

• 적대적 Rademacher 복잡도는 절대적으로 자연적 대응보다 작아질 수 없으며, 적대적 일반화의 본질적 난이도를 시사한다.
• Lp 제약(p≥1)을 갖는 이진 선형 분류기에 대해, p=1은 제외하면 적대적 복잡도에 피할 수 없는 차원 다항식 의존성이 나타난다.
• 다중 클래스 선형 분류기의 경우, 가중치의 bounded lp 노름(p>1)을 가질 때 적대적 교란 하의 마진 경계도 차원 의존성과 유사한 특성을 보인다.
• 신경망 분석은 적대적 Rademacher 복잡도에 명시적인 차원 의존성을 가지는 하한을 보여주며, 자연적 설정의 경계와는 차이가 있다.
• 대리적 적대적 손실에 대한 SDP 이완은 첫 계층 가중치의 L1 노름이 한정될 때 차원 의존성을 피하는 마진 경계를 제공한다.
• 실험 결과는 L1 규제가 적대적 일반화 오차를 줄이고 입력 차원이 커질수록 적대적 차이가 커진다는 것을 지지한다.