[논문 리뷰] First-order Adversarial Vulnerability of Neural Networks and Input Dimension

Carl-Johann Simon-Gabriel, Yann Ollivier외 3명|arXiv (Cornell University)|2018. 02. 05.

Adversarial Robustness in Machine Learning인용 수 62

한 줄 요약

논문은 적대적 취약성이 초기화 시 입력 차원의 제곱근으로 스케일링되며 주로 1차(First-order) 근사에 남아 있고, 기울기 노름이 아키텍처 및 학습 체계에 걸친 취약성과의 연결 고리임을 보여준다.

ABSTRACT

Over the past few years, neural networks were proven vulnerable to adversarial images: targeted but imperceptible image perturbations lead to drastically different predictions. We show that adversarial vulnerability increases with the gradients of the training objective when viewed as a function of the inputs. Surprisingly, vulnerability does not depend on network topology: for many standard network architectures, we prove that at initialization, the $\ell_1$-norm of these gradients grows as the square root of the input dimension, leaving the networks increasingly vulnerable with growing image size. We empirically show that this dimension dependence persists after either usual or robust training, but gets attenuated with higher regularization.

연구 동기 및 목표

• 대상 네트워크 토폴로지와 무관하게 입력 차원이 증가함에 따라 적대적 취약성이 증가하는 이유를 설명한다.
• 손실의 그래디언트와 1차 근사치에 대한 적대적 손상을 연결한다.
• 일반적인 학습과 강건한 학습 모두에서 차원 의존적 취약성에 미치는 학습의 영향을 평가한다.
• 그래디언트 규제와 적대적 증강을 방어로서 제시하고 이를 연관지운다.
• 아키텍처와 학습 설정 전반에서 1차 모델의 경험적 타당성을 평가한다.

제안 방법

• 손실에 대한 공격적 섭동 하에서의 Taylor 전개를 통해 적대적 손상을 그래디언트의 1차 근사와 관련짓는다.
• 초기화 시 손실의 듀얼 노름이 입력 차원의 함수로 증가하여 sqrt(d) 취약성을 야기함을 보인다.
• He 초기화하에서 일반적인 아키텍처에 걸쳐 그래디언트 노름이 네트워크 토폴로지에 크게 의존하지 않는다는 것을 보인다.
• 적대적 증강(FGSM/PGD)과 그래디언트 규제(이중 역전파)의 이원성을 1차 근사로서 보여준다.
• 다양한 규제 강도와 공격 노름으로 CIFAR-10에서 예측을 경험적으로 검증한다.
• 정규화(PGD-정규화 등)가 차원 의존성을 완화하는 역할에 대해 논의한다.

실험 결과

연구 질문

• RQ1 적대적 취약성이 입력 차원에 독립적으로 네트워크 토폴로지에 의존하는가?
• RQ2 손실의 입력에 대한 그래디언트 노드가 아키텍처에 걸쳐 적대적 취약성과 어떻게 연결되는가?
• RQ3 그래디언트 규제나 적대적 증강이 차원-취약성 트레이드오프를 다리처럼 연결할 수 있고, 이들의 비교는 어떠한가?
• RQ4 학습(일반적 학습 vs 강건 학습)이 그래디언트 노름의 차원 의존적 증가와 취약성에 어떤 영향을 미치는가?

주요 결과

• 초기화 시 입력에 대한 L2/Lq 그래디언트 노름이 차원에 비례하여 증가하고, 일반적인 신경망에서 sqrt(d) 취약성을 야기한다.
• 그래디언트 기반의 취약성이 적대적 손상에 대한 주된 설명으로 작용하며, 그래디언트 노름과 취약성 사이에 강한 1차 관계가 있다.
• 적대적 증강과 그래디언트 규제는 이원 관계를 따른다, 유사한 정확도-취약성 트레이드오프를 보이며 1차 우위를 지지한다.
• 학습 중 PGD-정규화는 차원 의존성을 크게 약화시키며, 정규화가 높을수록 정확도에 대한 손실이 더 적다.
• 훈련 데이터와 테스트 데이터에서 그래디언트 노름의 차이가 나타나므로 그래디언트 특성이 학습 데이터 외 일반화에 잘 확장되지 않는다는 것을 시사한다.