[논문 리뷰] Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality

Yi Zhang, Orestis Plevrakis외 4명|arXiv (Cornell University)|2020. 02. 16.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 7

한 줄 요약

이 논문은 ReLU 네트워크를 사용한 적대적 훈련이 다항 폭과 반복 횟수만으로도 낮은 강건한 훈련 손실을 달성할 수 있음을 처음으로 이론적으로 분석한다. 이는 이전 연구에서 요구된 지수적 과다 파rameter화를 극복한다. 자연스러운 데이터 분리성 가정 하에, 두 층으로 이루어진 ReLU 네트워크는 무작위 가우시안 초기화 근처에서 다항식(d, n/ε) 시간과 폭으로 훈련 데이터를 강건하게 피팅할 수 있으며, 이는 단계 함수에 대한 새로운 근사 결과를 활용한다.

ABSTRACT

Adversarial training is a popular method to give neural nets robustness against adversarial perturbations. In practice adversarial training leads to low robust training loss. However, a rigorous explanation for why this happens under natural conditions is still missing. Recently a convergence theory for standard (non-adversarial) supervised training was developed by various groups for {\em very overparametrized} nets. It is unclear how to extend these results to adversarial training because of the min-max objective. Recently, a first step towards this direction was made by Gao et al. using tools from online learning, but they require the width of the net to be \emph{exponential} in input dimension $d$, and with an unnatural activation function. Our work proves convergence to low robust training loss for \emph{polynomial} width instead of exponential, under natural assumptions and with the ReLU activation. Key element of our proof is showing that ReLU networks near initialization can approximate the step function, which may be of independent interest.

연구 동기 및 목표

• 적대적 훈련이 최소-최대 목표와 비볼록성에도 불구하고 효과적으로 강건한 모델을 찾는 이유를 이론적으로 설명하는 것.
• 이전 연구에서 요구된 지수적 과다 파arameter화 요구 조건을 극복하는 것. 이는 강건한 손실 ε에 대해 (1/ε)^Ω(d)의 스케일을 가진다.
• 현실적인 가정 하에 다항 폭과 다항 시간 적대적 훈련이 낮은 강건한 손실을 달성할 수 있음을 확립하는 것.
• 새로운 근사 이론 결과 증명: 초기화 근처의 ReLU 네트워크가 다항 폭으로 단계 함수를 근사할 수 있다.

제안 방법

• 훈련 예제들이 적대적 편향 반경보다 더 크게 분리되어 있다는 데이터 분리성 가정을 도입하며, 이는 CIFAR-10과 같은 실제 데이터셋에서 성립한다.
• 무작위 가우시안 초기화 근처에 있는 두 층 ReLU 네트워크를 구성하여, 폭이 poly(d, n/ε)인 모든 훈련 데이터를 강건하게 피팅한다.
• 새로운 근사 분석을 통해 ReLU 네트워크가 초기화에 가까운 가중치를 사용해 단계 함수를 근사할 수 있음을 보이며, 이는 측도 집중과 가우시안 尾 꼬리 경계에 의존한다.
• 경사하강법을 통한 적대적 훈련 동역학을 분석하여, poly(d, n/ε) 반복 이내에 강건한 해에 수렴함을 보인다.
• 입력 이동에 따른 네트워크 출력 변화를 편향 기반 분석을 통해 다루며, 지표 함수와 측도 불등식을 사용해 ReLU 활성화의 차이를 경계한다.
• 체르노프 경계와 무작위 가중치에 대한 유니온 경계를 적용하여, 작은 편향 하에서 활성화 부호가 변하는 뉴런의 수를 제어한다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크를 사용한 적대적 훈련이 지수적 대비 다항 폭과 시간만으로 낮은 강건한 훈련 손실을 달성할 수 있는가?
• RQ2 자연스러운 데이터 가정 하에서 적대적 훈련의 경험적 성공을 이론적으로 정당화할 수 있는가?
• RQ3 무작위 초기화 근처의 ReLU 네트워크가 다항 폭으로 단계 함수를 근사할 수 있는가?
• RQ4 기본적인 과다 파arameter화 조건 하에서, 적대적 훈련의 최소-최대 목표가 강건한 해로 수렴하는가?

주요 결과

• 자연스러운 데이터 분리성 가정 하에, 폭이 poly(d, n/ε)인 두 층 ReLU 네트워크가 무작위 가우시안 초기화 근처에 존재하며, ε의 강건한 훈련 손실을 달성한다.
• 경사하강법을 통한 적대적 훈련은 poly(d, n/ε) 반복 이내에 그러한 네트워크로 수렴하며, 입력 차원 d에 대한 지수적 의존성을 피한다.
• 네트워크의 강건성은 초기화에 가까운 가중치를 사용해 단계 함수를 근사하는 새로운 방법을 통해 달성되며, 이는 별도의 이론적 관심사가 있다.
• 분석 결과, 작은 편향 하에서 오직 O(√m)개의 뉴런만이 활성화 부호를 바꾸며, 이는 안정적인 경사하강 업데이트를 가능하게 한다.
• 증명은 측도 집중과 가우시안 벡터의 꼬리 경계에 의존하며, 대부분의 뉴런이 적대적 편향 하에서도 안정적으로 유지됨을 보장한다.