[논문 리뷰] Inductive Bias of Gradient Descent based Adversarial Training on Separable Data

Yan Li, Ethan X. Fang외 2명|arXiv (Cornell University)|2019. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 8

한 줄 요약

이 논문은 선형적으로 분리 가능한 데이터에서 경사하강법 기반 적대적 훈련의 인덕티브 바이어스를 분석하며, 유한한 ℓ₂-편차가 있는 조건에서 수렴 속도가 Õ(1/√T)로, 정제된 데이터 훈련보다 훨씬 빠르게 최대 ℓ₂-마진 분류기로 수렴함을 보여준다. 또한, 유한한 ℓ_q-편차가 있을 경우 최대 혼합-norm 마진 분류기로 수렴함을 입증하여 적대적 내성에 대한 이론적 근거를 제공한다.

ABSTRACT

Adversarial training is a principled approach for training robust neural networks. Despite of tremendous successes in practice, its theoretical properties still remain largely unexplored. In this paper, we provide new theoretical insights of gradient descent based adversarial training by studying its computational properties, specifically on its inductive bias. We take the binary classification task on linearly separable data as an illustrative example, where the loss asymptotically attains its infimum as the parameter diverges to infinity along certain directions. Specifically, we show that when the adversarial perturbation during training has bounded $\ell_2$-norm, the classifier learned by gradient descent based adversarial training converges in direction to the maximum $\ell_2$-norm margin classifier at the rate of $ ilde{\mathcal{O}}(1/\sqrt{T})$, significantly faster than the rate $\mathcal{O}(1/\log T)$ of training with clean data. In addition, when the adversarial perturbation during training has bounded $\ell_q$-norm for some $q\ge 1$, the resulting classifier converges in direction to a maximum mixed-norm margin classifier, which has a natural interpretation of robustness, as being the maximum $\ell_2$-norm margin classifier under worst-case $\ell_q$-norm perturbation to the data. Our findings provide theoretical backups for adversarial training that it indeed promotes robustness against adversarial perturbation.

연구 동기 및 목표

• 선형적으로 분리 가능한 데이터에서 이진 분류 문제에 대해 경사하강법 기반 적대적 훈련(GDAT)의 인덕티브 바이어스를 이해하는 것.
• 명시적 정규화 없이도 GDAT의 수렴 행동이 어떻게 적대적 내성성에 기여하는지 조사하는 것.
• 다양한 편차 제약 조건(ℓ₂ 및 ℓ_q 노름) 하에서 GDAT가 학습한 분류기의 최종 방향을 특성화하는 것.
• 적대적 훈련이 내성성과 일반화 성능을 향상시키는 데 있어 경험적으로 성공한 이유에 대한 이론적 근거를 제공하는 것.

제안 방법

• 선형적으로 분리 가능한 데이터에서 이진 분류 문제에 대한 단순화된 선형 모델 설정에서 GDAT를 분석한다.
• 유한한 ℓ₂ 및 ℓ_q 편차가 있는 조건에서 적대적 훈련을 최소화-최대화 최적화 문제로 모델링한다.
• 경사하강법의 수렴 분석을 통해 분류기 방향이 최대 마진 해로 수렴함을 보인다.
• 리아푸노프 함수 분석과 기울기 노름을 포함한 재귀 부등식을 통해 수렴 속도를 확립한다.
• ℓ₂-편차 제약 조건이 있을 경우, GDAT가 방향에서 최대 ℓ₂-마진 분류기로 수렴함을 증명한다.
• 분석을 ℓ_q-편차 제약 조건으로 확장하여, 최대 혼합노름 마진 분류기로 수렴함을 보인다.

실험 결과

연구 질문

• RQ1 경사하강법 기반 적대적 훈련이 내성적인 해를 선호하는 암묵적 인덕티브 바이어스를 보이며, 이는 어떻게 작용하는가?
• RQ2 선형적으로 분리 가능한 데이터에서 학습할 때, GDAT의 수렴 속도는 표준 훈련과 비교해 어떻게 되는가?
• RQ3 ℓ₂-편차 제약 조건 하에서 GDAT가 학습한 분류기의 최종 방향은 무엇인가?
• RQ4 편차 노름의 선택(ℓ_q)이 최종 분류기의 내성성 및 마진 성질에 어떻게 영향을 미치는가?
• RQ5 GDAT의 암묵적 바이어스를 적대적 내성성과 일반화와 공식적으로 연결할 수 있는가?

주요 결과

• ℓ₂-편차 제약 조건 하에서 GDAT는 방향에서 최대 ℓ₂-마진 분류기로 수렴하며, 수렴 속도는 Õ(1/√T)로, 표준 훈련의 O(1/log T) 속도보다 훨씬 빠르다.
• ℓ₂-편차 제약 조건 하에서 GDAT의 최종 방향은 적대적 제약 조건이 있는 최대 마진 문제의 해와 일치한다.
• ℓ_q-편차 제약 조건(여기서 q ≥ 1) 하에서 GDAT는 최대 혼합노름 마진 분류기로 수렴하며, 이는 최악의 경우 ℓ_q-편차 하에서 최대 ℓ₂-마진에 해당한다.
• 이론적 분석을 통해 적대적 훈련이 적대적 편차 하에서 큰 마진을 가진 해를 선호함으로써 암묵적으로 내성성을 증진시킴을 확인한다.
• 경험적 결과는 적대적 훈련이 정제된 데이터에서 수렴 속도를 가속화하며, 편차 수준이 클수록 더 강한 가속 효과를 보임을 보여준다.
• 다양한 네트워크 너비와 편차 수준에서도 최적의 마진 방향으로의 수렴이 안정적이며, 이는 이론적 결과의 타당성을 검증한다.