[논문 리뷰] Adversarial Vulnerability of Neural Networks Increases with Input Dimension

Carl-Johann Simon-Gabriel, Yann Ollivier외 3명|arXiv (Cornell University)|2018. 09. 27.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 30

한 줄 요약

이 논문은 입력 차원이 증가함에 따라 신경망의 적대적 취약도가 증가함을 보여주며, 손실 함수에 대한 입력에 대한 기울기의 ℓ₁-노름이 입력 크기의 제곱근에 비례하여 증가함을 밝힌다. 이는 기울기 정규화와 적대적 훈련 사이의 연결고리를 제안하며, 이중 역전파가 1차적으로 적대적 훈련과 동일하다는 것을 보이고, 스트라이드 풀링을 평균 풀링으로 대체함으로써 취약도를 감소시킬 수 있음을 보여준다.

ABSTRACT

Over the past four years, neural networks have proven vulnerable to adversarial images: targeted but imperceptible image perturbations lead to drastically different predictions. We show that adversarial vulnerability increases with the gradients of the training objective when seen as a function of the inputs. For most current network architectures, we prove that the $\ell_1$-norm of these gradients grows as the square root of the input-size. These nets therefore become increasingly vulnerable with growing image size. Over the course of our analysis we rediscover and generalize double-backpropagation, a technique that penalizes large gradients in the loss surface to reduce adversarial vulnerability and increase generalization performance. We show that this regularization-scheme is equivalent at first order to training with adversarial noise. Finally, we demonstrate that replacing strided by average-pooling layers decreases adversarial vulnerability. Our proofs rely on the network's weight-distribution at initialization, but extensive experiments confirm their conclusions after training.

연구 동기 및 목표

• 신경망의 적대적 취약도가 입력 차원에 따라 어떻게 증가하는지 조사하기 위해.
• 손실 함수의 기울기 노름과 적대적 강건성 간의 관계를 분석하기 위해.
• 이중 역전파를 적대적 훈련의 한 형태로 일반화하고 재해석하기 위해.
• 특히 스트라이드 풀링을 평균 풀링으로 대체하는 아키텍처 변경이 적대적 취약도에 미치는 영향을 평가하기 위해.
• 학습 후 이론적 발견이 가중치 초기화 기반으로 유도된 결과와 일치하는지 검증하기 위해.

제안 방법

• 입력 차원 d에 대해 기울기의 ℓ₁-노름이 √d 비례로 증가함을 보여주는 손실 함수에 대한 기울기 노름의 이론적 분석.
• 이중 역전파와 적대적 훈련 간의 1차 근사에서의 동치성 도출.
• 손실 표면에서 큰 기울기를 방지하기 위해 기울기 정규화를 적용.
• 특히 스트라이드 컨벌루션을 평균 풀링 레이어로 대체한 아키텍처 변경의 경험적 평가.
• 학습 초기 단계에서의 가중치 분포를 활용해 이론적 경계를 유도하고, 이후 학습 후 검증.
• 강건성을 향상시키기 위해 적대적 노이즈를 사용하여 기울기 정규화의 대체 수단으로 활용.

실험 결과

연구 질문

• RQ1 딥 신경망에서 입력 차원이 증가함에 따라 적대적 취약도는 어떻게 변화하는가?
• RQ2 손실 함수의 기울기 노름과 적대적 강건성 간의 수학적 관계는 무엇인가?
• RQ3 이중 역전파의 최적화 역학은 적대적 훈련과 동일한가?
• RQ4 평균 풀링과 같은 아키텍처 선택은 적대적 취약도를 감소시킬 수 있는가?
• RQ5 초기화 기반 이론적 예측은 표준 학습 후에도 성립하는가?

주요 결과

• 손실 함수에 대한 입력의 기울기의 ℓ₁-노름은 입력 차원의 제곱근에 비례하여 증가하며, 이는 더 큰 입력에서 적대적 취약도가 증가함을 시사한다.
• 이중 역전파와 적대적 훈련은 1차적으로 수학적으로 동치이며, 이는 그 강건성 향상 효과에 대한 이론적 근거를 제공한다.
• 스트라이드 풀링 레이어를 평균 풀링 레이어로 대체함으로써 적대적 취약도가 감소하며, 이는 아키텍처 설계가 강건성에 영향을 미칠 수 있음을 시사한다.
• 학습 초기 단계에서의 가중치 초기화 기반 이론적 예측은 표준 학습 후에도 그대로 성립하며, 연구 결과의 일반화 가능성을 확인한다.
• 기울기 정규화는 손실 표면의 급격한 변화를 방지함으로써 적대적 취약도를 효과적으로 감소시킨다.
• 적대적 강건성은 특히 기울기 크기와 관련된 손실 표면의 기하학적 성질과 깊이 연결되어 있다.