[논문 리뷰] Do Wider Neural Networks Really Help Adversarial Robustness?

Boxi Wu, Jinghui Chen외 3명|arXiv (Cornell University)|2020. 10. 03.

Adversarial Robustness in Machine Learning참고 문헌 75인용 수 35

한 줄 요약

네트워크 너비가 적대적 훈련 하에서의 적대적 강건성에 어떤 영향을 미치는지 분석하고, 더 넓은 네트가 퍼트루션 안정성을 해칠 수 있음을 보여 주며 이를 완화하기 위해 Width Adjusted Regularization (WAR)을 제안한다.

ABSTRACT

Adversarial training is a powerful type of defense against adversarial examples. Previous empirical results suggest that adversarial training requires wider networks for better performances. However, it remains elusive how neural network width affects model robustness. In this paper, we carefully examine the relationship between network width and model robustness. Specifically, we show that the model robustness is closely related to the tradeoff between natural accuracy and perturbation stability, which is controlled by the robust regularization parameter $λ$. With the same $λ$, wider networks can achieve better natural accuracy but worse perturbation stability, leading to a potentially worse overall model robustness. To understand the origin of this phenomenon, we further relate the perturbation stability with the network's local Lipschitzness. By leveraging recent results on neural tangent kernels, we theoretically show that wider networks tend to have worse perturbation stability. Our analyses suggest that: 1) the common strategy of first fine-tuning $λ$ on small networks and then directly use it for wide model training could lead to deteriorated model robustness; 2) one needs to properly enlarge $λ$ to unleash the robustness potential of wider models fully. Finally, we propose a new Width Adjusted Regularization (WAR) method that adaptively enlarges $λ$ on wide models and significantly saves the tuning time.

연구 동기 및 목표

• 네트워크 너비가 적대적 훈련에서 모델 강건성에 어떤 영향을 미치는지 조사한다.
• 자연 정확도와 퍼트루션 안정성 간의 trade-off를 특성화한다.
• 퍼트루션 안정성을 로컬 Lipschitz성 및 신경 접선 커널(NTK) 결과와 이론적으로 연결한다.
• 더 넓은 모델에 맞춰 정규화를 조정하여 강건성을 개선하는 방법을 제안한다.
• 더 넓은 아키텍처의 강건성 잠재력을 끌어내기 위한 정규화 조정에 대한 실용적 지침을 제공한다.

제안 방법

• TRADES 프레임워크에서 람다로 제어되는 강건한 정규화 항을 가진 적대적 훈련을 형식화한다.
• CIFAR-10에서 WideResNet을 사용하여 너비에 걸쳐 자연 정확도, 강건 정확도, 및 퍼트루션 안정성을 실증적으로 측정한다.
• 로컬 Lipschitz성 및 네트워크 너비의 함수로서 퍼트루션 안정성을 분석한다.
• NTK 기반의 논거를 사용하여 더 넓은 네트워크가 더 큰 로컬 Lipschitz 상수를 가지며 안정성을 악화시킴을 보인다.
• 더 넓은 모델에 맞춰 람다를 조정하고 튜닝 노력을 줄이는 Width Adjusted Regularization (WAR)을 제안한다.

실험 결과

연구 질문

• RQ1 네트워크 너비가 적대적 훈련 하에서 퍼트루션 안정성과 전반적 강건성에 어떤 영향을 미치는가?
• RQ2 너비가 증가할 때 자연 정확도, 퍼트루션 안정성, 그리고 강건 정확도 사이의 관계는 무엇인가?
• RQ3 더 큰 강건 정규화(lambda)가 너비 증가에 따른 안정성 및 강건성 저하를 완화할 수 있는가?
• RQ4 너비 인지 정규화 전략이 광범위한 하이퍼파라미터 튜닝 없이도 강건성을 향상시키는가?

주요 결과

• 더 넓은 네트워크는 종종 더 나은 자연 정확도를 보이지만 퍼트루션 안정성은 더 떨어져 항상적인 강건성 이득을 보장하지 않는다.
• 로컬 Lipschitz 상 증가로 너비가 커질수록 퍼트루션 안정성이 악화되며, 더 넓은 네트워크는 입력 그래디언트의 노름이 더 크다.
• 이 트레이드오프는 자연 정확도와 퍼트루션 안정성 사이의 관계로 더 잘 기술되며 순수하게 자연 정확도와 강건 정확도 간의 관계가 아니다.
• 더 넓은 모델에서 강건 정규화 매개변수 람다를 증가시키면 퍼트루션 안정성과 강건성이 향상된다.
• Width Adjusted Regularization (WAR) 접근법은 너비에 따라 람다를 조정할 수 있어 튜닝 시간을 절약하고 다양한 아키텍처와 데이터세트에서 강건성을 높일 수 있다.