[논문 리뷰] A single gradient step finds adversarial examples on random two-layers neural networks

Sébastien Bubeck, Yeshwanth Cherapanamjeri외 2명|arXiv (Cornell University)|2021. 04. 08.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 네트워크 너비가 과잉완성된 경우(k > d)이거나 입력 차원 d에 대해 초지수적일지라도, 랜덤 두 층의 ReLU 및 스무스 활성화 신경망에서 단일 기울기 단계로 적대적 예제를 생성하는 데 충분함을 증명한다. 핵심 결과는 높은 확률로, |η| ≈ √log(1/γ)인 편향 δ = η∇f(x)가 네트워크 출력의 부호를 뒤바꿈으로써, 적대적 예제가 넓은 랜덤 네트워크에서 국소적 선형성으로 인해 자연스럽게 발생함을 보여준다.

ABSTRACT

Daniely and Schacham recently showed that gradient descent finds adversarial examples on random undercomplete two-layers ReLU neural networks. The term "undercomplete" refers to the fact that their proof only holds when the number of neurons is a vanishing fraction of the ambient dimension. We extend their result to the overcomplete case, where the number of neurons is larger than the dimension (yet also subexponential in the dimension). In fact we prove that a single step of gradient descent suffices. We also show this result for any subexponential width random neural network with smooth activation function.

연구 동기 및 목표

• 랜덤 두 층 신경망에서 단일 기울기 단계로 적대적 예제를 찾을 수 있음을 이론적으로 확인하는 것.
• 이전 결과를 k = o(d)인 과소완성 설정에서 k > d인 과잉완성 설정으로 확장하는 것.
• 기울기 기반 공격에 대한 스무스 및 ReLU 활성화 함수를 갖는 랜덤 신경망의 강건성 분석.
• 고차원 랜덤 아키텍처에서 기울기 기반 적대적 공격의 성공에 대한 확률적 경계 수립.

제안 방법

• i.i.d. 가우시안 가중치 wℓ ∼ N(0, I/d)와 무작위 부호 aℓ ∈ {−1, +1}를 갖는 랜덤 두 층 네트워크 모델을 사용한다.
• 기울기의 노름과 편향 크기를 제어하기 위해 농도 부등식과 가우시안 尾부 근사치를 적용한다.
• 입력 편향에 대한 함수 기능의 최대값을 제어하기 위해 유한 넷에 대한 유니온 바ounds를 활용한다.
• 기울기 및 함수 행동의 편차를 작은 편향에 대해 제어하기 위해 리프시츠 농도 측정의 집중을 활용한다.
• ε-넷을 사용한 체이닝 추론을 통해 소규모 입력 변화에 따른 네트워크 출력의 진동을 제어한다.
• 가우시안 카오스의 모멘트 및 尾부 추정치를 통해 고확률 경계에 대한 명시적 상수를 유도한다.

실험 결과

연구 질문

• RQ1 과잉완성된 랜덤 두 층 ReLU 네트워크에서 단일 기울기 단계로 적대적 예제를 생성할 수 있는가?
• RQ2 뉴런 수가 입력 차원을 초과할 경우, 랜덤 네트워크에서도 적대적 예제 현상이 유지되는가?
• RQ3 네트워크의 너비가 기울기 강하를 통한 적대적 예제 발견 가능성에 어떻게 영향을 미치는가?
• RQ4 빠른 기울기 부호 방법(FGSM)의 성공은 랜덤 신경망의 국소적 선형성에 의해 이론적으로 뒷받침되는가?

주요 결과

• 스무스 활성화 함수의 경우, k ≥ C₁log³(1/γ) 및 d ≥ C₂log(k/γ)log(1/γ) 조건을 만족할 경우, |η| ≈ C₃√log(1/γ)로 단일 기울기 단계를 거치면 f(x)의 부호를 뒤집을 확률이 최소 1−γ 이상이다.
• ReLU 네트워크의 경우, k ≥ C₁d log²(d) 및 d/log(d) ≥ C₂log⁴(k)log(1/γ) 조건을 만족할 경우 동일한 결과가 성립하며, |η| ≈ C₃√log(1/γ)이다.
• 편향의 노름 ∥η∇f(x)∥는 C₄√log(1/γ) 이하로 제한되며, 이는 작고 정확한 적대적 편향을 의미한다.
• 실험 결과는 부호를 뒤집기 위해 필요한 최소 η가 d와 k에 관계없이 약간의 변화를 보이며, d, k > 50일 경우 |η| < 20 조건에서 100%의 샘플이 적대적임을 확인한다.
• 이 현상은 깊이 L = 1에서 6까지의 더 깊은 네트워크에서도 성립하지만, 메모리 제약으로 인해 100% 성공의 임계값이 깊이에 따라 증가한다.
• 이론적 프레임워크는 빠른 기울기 부호 방법(FGSM)이 성공하는 이유가 대부분의 랜덤 네트워크가 광범위한 입력 영역에서 국소적으로 선형적이기 때문임을 확인한다.