[논문 리뷰] Persistency of Excitation for Robustness of Neural Networks

Kamil Nar, S. Shankar Sastry|arXiv (Cornell University)|2019. 11. 04.

Neural Networks and Applications참고 문헌 26인용 수 13

한 줄 요약

이 논문은 훈련 중 네트워크 가중치의 지속적 자극 상태(persistent excitation)를 분석함으로써, 손실 함수의 선택—특히 교차 엔트로피와 제곱오차—가 신경망의 강건성에 어떤 영향을 미치는지 조사한다. 교차 엔트로피 손실은 저차원 부분공간 내 지지벡터의 부족한 자극 상태로 인해 결정 경계의 여유를 낮추며, 이로 인해 강건성이 떨어진다. 이를 해결하기 위해 선형 모델에서 영감을 얻은 정규화 기법을 제안하여 지속적 자극을 강제함으로써, 적대적 예제에 대한 강건성을 향상시킨다.

ABSTRACT

When an online learning algorithm is used to estimate the unknown parameters of a model, the signals interacting with the parameter estimates should not decay too quickly for the optimal values to be discovered correctly. This requirement is referred to as persistency of excitation, and it arises in various contexts, such as optimization with stochastic gradient methods, exploration for multi-armed bandits, and adaptive control of dynamical systems. While training a neural network, the iterative optimization algorithm involved also creates an online learning problem, and consequently, correct estimation of the optimal parameters requires persistent excitation of the network weights. In this work, we analyze the dynamics of the gradient descent algorithm while training a two-layer neural network with two different loss functions, the squared-error loss and the cross-entropy loss; and we obtain conditions to guarantee persistent excitation of the network weights. We then show that these conditions are difficult to satisfy when a multi-layer network is trained for a classification task, for the signals in the intermediate layers of the network become low-dimensional during training and fail to remain persistently exciting. To provide a remedy, we delve into the classical regularization terms used for linear models, reinterpret them as a means to ensure persistent excitation of the model parameters, and propose an algorithm for neural networks by building an analogy. The results in this work shed some light on why adversarial examples have become a challenging problem for neural networks, why merely augmenting training data sets will not be an effective approach to address them, and why there may not exist a data-independent regularization term for neural networks, which involve only the model parameters but not the training data.

연구 동기 및 목표

• 높은 정확도를 보이지만 소규모 입력 변형에 취약한 딥 신경망의 원인을 이해하기 위해.
• 특히 교차 엔트로피 손실의 선택이 이러한 강건성 부족에 기여하는지 조사하기 위해.
• 신경망 훈련 중 경사하강법의 역학에서 지속적 자극의 역할을 분석하기 위해.
• 특히 더 깊은 네트워크에서 가중치가 지속적 자극을 유지하지 못하는 조건을 규명하기 위해.
• 고전적 선형 모델 정규화에서 영감을 얻은 지속적 자극 원칙을 바탕으로 신경망을 위한 정규화 전략을 제안하기 위해.

제안 방법

• 두 층으로 구성된 신경망에서 제곱오차 손실과 교차 엔트로피 손실을 모두 사용하여 경사하강법의 역학을 분석한다.
• 훈련 중 네트워크 가중치의 지속적 자극 조건을 유도하며, 교차 엔트로피 손실이 비지지벡터의 기울기 기여도를 빠르게 감쇠시킨다는 것을 보여준다.
• 교차 엔트로피 손실로 훈련된 선형 분류기의 여유 분석을 도입하며, 여유 크기가 애핀 부분공간 내 지지벡터의 기하학적 구조에 따라 달라짐을 증명한다.
• 기존의 정규화 항(예: L2)을 모델 파라미터의 지속적 자극을 강제하는 수단으로 재해석한다.
• 고전적 선형 모델 정규화에서 영감을 얻은 새로운 정규화 알고리즘을 제안하며, 깊은 네트워크에 적용한다.
• 이론적 분석과 실험적 검증을 통해, 교차 엔트로피 손실 하에서 여유 형성이 불량해지는 원인은 저차원 지지벡터 구성 때문임을 밝힌다.

실험 결과

연구 질문

• RQ1 왜 교차 엔트로피 손실로 훈련된 신경망은 소규모 입력 변형에 대해 낮은 강건성을 보이는가?
• RQ2 입력 공간에서 지지벡터의 기하학적 구조가 교차 엔트로피 손실 사용 시 여유 크기에 어떤 영향을 미치는가?
• RQ3 네트워크 가중치에서 지속적 자극의 부족이 적대적 취약성에 어느 정도 기여하는가?
• RQ4 기존 선형 모델에서 사용되는 정규화 항이 신경망에서 지속적 자극을 강제하는 수단으로 재해석될 수 있는가?
• RQ5 지속적 자극을 보장함으로써 강건성을 향상시키기 위해 데이터에 종속되지 않는 정규화 방법을 깊은 네트워크에 설계할 수 있는가?

주요 결과

• 동일한 아키텍처와 최적화 알고리즘을 사용하더라도, 교차 엔트로피 손실로 훈련된 신경망은 제곱오차 손실로 훈련된 경우보다 결정 경계의 여유가 유의미하게 작게 형성된다.
• 교차 엔트로피 손실로 훈련된 선형 분류기의 여유는 $ \frac{1}{\sqrt{\frac{1}{\gamma_{\text{OPT}}^2} + B^2 \sum_{k \in K} \Delta_k^2}} $ 이하로 제한되며, 여기서 $ \gamma_{\text{OPT}} $ 는 최적의 SVM 여유이고 $ B $ 는 지지벡터의 편향에 따라 달라진다.
• 지지벡터가 저차원 애핀 부분공간에 위치할 경우 $ \sum_{k \in K} \Delta_k^2 $ 가 증가하여 여유가 더 줄어들며, 이로 인해 강건성 확보가 더 어려워진다.
• 여유 상한에서 편향 항 $ B $ 는 데이터 전처리로 제거할 수 없으며, 이는 지지벡터가 사전에 알려져 있지 않기 때문이다.
• 특히 비지지벡터에서의 지속적 자극 부족은 그 기여도 기울기의 영향이 급격히 감쇠되게 하여 최적화가 오직 가장 중요한 점들에 집중하게 만든다.
• 기존의 정규화 항(예: L2)은 지속적 자극을 강제하는 수단으로 재해석될 수 있으며, 이는 강건한 신경망 훈련을 위한 새로운 설계 원칙을 제안한다.