[논문 리뷰] Convergence and Margin of Adversarial Training on Separable Data

Zachary Charles, Shashank Rajput외 2명|arXiv (Cornell University)|2019. 05. 22.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 10

한 줄 요약

이 논문은 선형으로 분리 가능한 데이터에서의 적대적 훈련을 분석하여, 기울기 기반 업데이트가 적대적 예제에서 다항 시간 내에 큰 마진을 달성하는 것으로 보여주며, 표준 기울기 하강법은 지수적으로 많은 반복을 필요로 할 수 있음을 밝힌다. 강건한 경험 리스크 최소화의 수렴 속도는 O(ln²(t)/t)로 확립되어 있어 이론적 보장을 갖는 효율적인 강건한 모델 훈련을 가능하게 한다.

ABSTRACT

Adversarial training is a technique for training robust machine learning models. To encourage robustness, it iteratively computes adversarial examples for the model, and then re-trains on these examples via some update rule. This work analyzes the performance of adversarial training on linearly separable data, and provides bounds on the number of iterations required for large margin. We show that when the update rule is given by an arbitrary empirical risk minimizer, adversarial training may require exponentially many iterations to obtain large margin. However, if gradient or stochastic gradient update rules are used, only polynomially many iterations are required to find a large-margin separator. By contrast, without the use of adversarial examples, gradient methods may require exponentially many iterations to achieve large margin. Our results are derived by showing that adversarial training with gradient updates minimizes a robust version of the empirical risk at a $\mathcal{O}(\ln(t)^2/t)$ rate, despite non-smoothness. We corroborate our theory empirically.

연구 동기 및 목표

• 선형으로 분리 가능한 데이터에서의 적대적 훈련 수렴 행동을 이해하는 것.
• 다양한 업데이트 규칙을 사용한 적대적 훈련이 큰 마진을 효율적으로 달성할 수 있는지 확인하는 것.
• 청정 데이터에서의 표준 기울기 하강법과 기울기 기반 적대적 훈련 간의 수렴 속도를 비교하는 것.
• 적대적 훈련 하에서 강건한 경험 리스크 최소화의 이론적 수렴 속도를 확립하는 것.
• 기울기 업데이트를 사용한 적대적 훈련을 통해 주어진 마진을 달성하는 데 필요한 반복 횟수를 정량화하는 것.

제안 방법

• 임의의 경험 리스크 최소화 기법을 사용한 적대적 훈련을 분석하여, 큰 마진을 달성하는 데 지수적으로 많은 반복이 필요할 수 있음을 보여준다.
• 마진 제약 조건을 통해 적대적 예제를 포함하는 강건한 경험 리스크 함수 ℓ_rob(w, x, y)를 도입한다.
• 비연속성에도 불구하고, 적대적 예제에서의 기울기 또는 확률적 기울기 업데이트가 강건한 경험 리스크 최소화를 O(ln²(t)/t)의 속도로 최소화함을 증명한다.
• 퍼셉트론 및 부스팅 이론의 기법, 특히 마진 분석과 암묵적 편향을 사용하여 수렴 한계를 유도한다.
• 제닝스 부등식과 농도 한계를 적용하여 평균화된 반복값의 고확률 수렴 속도를 유도한다.
• 합성 및 실제 데이터셋에서 이론적 결과를 실험적으로 검증하여, 기울기 업데이트를 사용한 적대적 훈련에서 마진 수렴 속도가 더 빠름을 보여준다.

실험 결과

연구 질문

• RQ1 일반적인 업데이트 규칙을 사용한 적대적 훈련은 선형으로 분리 가능한 데이터에서 큰 마진 분리자로 신속하게 수렴하는가?
• RQ2 적대적 예제에서의 기울기 기반 업데이트는 다항 시간 내에 큰 마진을 달성할 수 있는가?
• RQ3 청정 데이터에서의 표준 기울기 하강법과 비교해 적대적 훈련의 수렴 속도는 어떻게 되는가?
• RQ4 기울기 업데이트를 사용한 적대적 훈련 하에서 강건한 경험 리스크 최소화의 이론적 수렴 속도는 무엇인가?
• RQ5 기울기 하강법을 사용한 적대적 훈련에서 목표 마진을 달성하는 데 필요한 반복 횟수는 경계가 가능한가?

주요 결과

• 임의의 경험 리스크 최소화 기법을 사용한 적대적 훈련은 선형으로 분리 가능한 데이터에서 큰 마진을 달성하는 데 지수적으로 많은 반복이 필요할 수 있다.
• 적대적 예제에서의 기울기 또는 확률적 기울기 업데이트는 강건한 경험 리스크 최소화에 대해 O(ln²(t)/t)의 수렴 속도를 달성한다.
• 이 수렴 속도는 강건한 손실 함수의 비연속성에도 불구하고, 청정 데이터에서의 표준 기울기 하강법의 속도와 일치한다.
• 반대로, 청정 데이터에서의 표준 기울기 하강법은 큰 마진을 달성하는 데 지수적으로 많은 반복이 필요할 수 있다.
• 이론적 경계는 기울기 업데이트를 사용한 적대적 훈련가 지수적으로 많은 반복이 아닌 다항 시간 내에 주어진 마진에 도달할 수 있음을 보여준다.
• 실험 결과는 이론을 뒷받침하며, 기울기 업데이트를 사용한 적대적 훈련에서 더 빠른 마진 성장이 관찰됨을 보여준다.