[논문 리뷰] Regularization Effect of Fast Gradient Sign Method and its Generalization

Chandler Zuo|arXiv (Cornell University)|2018. 10. 27.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 일반선형모형에서 일반화된 빠른 기울기 부호 방법(Gen. FGSM)을 정규화 기법으로 도입하며, 1층 신경망에서의 점근적 성질을 도출한다. 일반화된 FGSM가 √n-일致성과 약한 오라클 성질을 확보함을 증명하며, 노이즈 수준에 따라 펜alties scaling이 자동 조정됨을 보여주지만, 오차 부호가 균형을 이루지 않은 비부호 중립 샘플링 상황에서는 추가적인 편향이 발생한다.

ABSTRACT

Fast Gradient Sign Method (FGSM) is a popular method to generate adversarial examples that make neural network models robust against perturbations. Despite its empirical success, its theoretical property is not well understood. This paper develops theory to explain the regularization effect of Generalized FGSM, a class of methods to generate adversarial examples. Motivated from the relationship between FGSM and LASSO penalty, the asymptotic properties of Generalized FGSM are derived in the Generalized Linear Model setting, which is essentially the 1-layer neural network setting with certain activation functions. In such simple neural network models, I prove that Generalized FGSM estimation is root n-consistent and weakly oracle under proper conditions. The asymptotic results are also highly similar to penalized likelihood estimation. Nevertheless, Generalized FGSM introduces additional bias when data sampling is not sign neutral, a concept I introduce to describe the balance-ness of the noise signs. Although the theory in this paper is developed under simple neural network settings, I argue that it may give insights and justification for FGSM in deep neural network settings as well.

연구 동기 및 목표

• 신경망 학습에서 빠른 기울기 부호 방법(FGSM)의 정규화 효과에 대한 이론적 기반을 마련하는 것.
• 원래의 FGSM 수식을 초월하여, 적대적 예시 생성 방법의 일반화된 클래스를 도입하는 것.
• 일반선형모형(GLM)의 맥락에서 일반화된 FGSM의 점근적 성질을 분석하는 것. 이는 특정 활성화 함수를 갖는 1층 신경망과 동치이다.
• 일치성과 편향 측면에서 LASSO와 같은 전통적 펜리티드 우도 추정 방법과 일반화된 FGSM을 비교하는 것.
• 특히 오차 부호의 균형 여부에 따라 영향을 받는 데이터 샘플링 특성—특히 오차 부호의 균형성—이 추정 편향과 성능에 미치는 영향을 조사하는 것.

제안 방법

• 일반화된 FGSM는 적대적 페르튜베이션에서 유도된 펜리티항을 갖는 최대우도추정으로 정의되며, 페르튜베이션 방향은 손실 함수의 기울기의 부호에 의해 결정된다.
• 이 방법은 잔차 부호 $ \text{sign}(e_i) $ 에 따라 의존하는 페널티 함수 $ p_{\nu_n}(\beta) $ 를 도입하여, 적대적 노이즈를 손실 함수에 구조화된 정규화로 통합한다.
• 이론적 분석은 일반선형모형(GLM) 프레임워크 내에서 수행되며, 로지스틱 링크와 같은 표준 연결 함수를 갖는 1층 신경망을 모델링한다.
• 정규 조건 하에서 점근적 성질을 도출하며, 이는 공변수의 모멘트 유계성과 설계 행렬 분포의 尾 조건을 포함한다.
• 마틴게일 및 경험과정 기법을 사용하여 추정 오차를 유계함으로써, 추정량에 대해 √n-일치성과 약한 오라클 성질을 확립한다.
• 오차 부호의 균형을 설명하는 새로운 개념인 '부호 중립성'을 도입하며, 이는 추정량의 편향에 영향을 미친다.

실험 결과

연구 질문

• RQ1 일반화된 FGSM 추정은 1층 신경망 설정에서 √n-일치성을 확보하는가?
• RQ2 일치성과 오라클 성질 측면에서 일반화된 FGSM의 성능은 LASSO와 같은 전통적 펜리티드 우도 방법과 비교해 어떻게 되는가?
• RQ3 샘플링 분포의 부호 중립성이 일반화된 FGSM 추정량의 편향에 어떤 역할을 하는가?
• RQ4 공변수 분포의 조건(예: 꼬리 행동)이 일반화된 FGSM의 점근적 성질 유지에 어떤 영향을 미치는가?
• RQ5 간단한 모델에서 일반화된 FGSM의 이론적 성질은 깊은 신경망에서 FGSM의 행동에 대한 통찰을 제공할 수 있는가?

주요 결과

• 일반화된 FGSM 추정은 정규 조건 하에서 √n-일치성을 확보하며, 이는 추정량이 표준 파rametric 속도로 진짜 모수에 수렴함을 의미한다.
• 추정량은 약한 오라클 성질을 갖는다. 즉, 적절한 희박성과 설계 조건 하에서 표본 크기가 증가함에 따라 진짜 모델을 높은 확률로 올바르게 선택할 수 있다.
• 일반화된 FGSM의 펜리티 계수는 노이즈 수준에 따라 자동 조정되며, 이는 LASSO와 같은 고정 펜리티 방법에 비해 핵심적인 이점이다.
• 샘플링 분포가 부호 중립이 아닐 경우—즉, 오차 부호가 균형을 이루지 않을 경우—일반화된 FGSM는 LASSO 유형 펜리티보다 추가적인 편향을 유발한다.
• 로지스틱 회귀 모델의 경우, 공변수 분포가 경량 꼬리(예: 정규분포 또는 유계 분포)를 가질 경우 점근적 성질이 유지된다.
• 이론적 결과는 모멘트 유계와 꼬리 조건을 통해 지지되며, 유한한 모멘트를 확보하기 위한 충분조건은 공변수 밀도가 지수적으로 감소함을 의미한다(예: $ f_{\mathbf{x}_1}(\mathbf{x}) \leq C e^{-A\|\mathbf{x}\|} $).