[논문 리뷰] Towards Understanding the Regularization of Adversarial Robustness on Neural Networks

Yuxin Wen, Shuai Li외 1명|arXiv (Cornell University)|2020. 11. 15.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 7

한 줄 요약

이 논문은 적대적 로버스트니스 트레이닝이 딥 네ural 네트워크에서 표준 정확도를 떨어뜨리는 이유를 분석하기 위해, 적대적 로버스트니스를 정규화의 한 형태로 재구성한다. 연구에서는 로버스트니스가 대부분의 레이어에서 특성 공간의 변화를 균일하게 매끄럽게 만들어, 예측치가 결정 경계 근처에 집중되고 모델의 자신감이 낮아지게 하여 표준 정확도가 떨어지게 된다고 규명한다. 이는 현재의 적대적 트레이닝이 지나치게 공격적인 정규화를 유도하고 있으며, 이를 더 부드럽고 타겟된 방법으로 대체함으로써 표준 정확도를 유지할 수 있음을 시사한다.

ABSTRACT

The problem of adversarial examples has shown that modern Neural Network (NN) models could be rather fragile. Among the more established techniques to solve the problem, one is to require the model to be {\\it $\\epsilon$-adversarially robust} (AR); that is, to require the model not to change predicted labels when any given input examples are perturbed within a certain range. However, it is observed that such methods would lead to standard performance degradation, i.e., the degradation on natural examples. In this work, we study the degradation through the regularization perspective. We identify quantities from generalization analysis of NNs; with the identified quantities we empirically find that AR is achieved by regularizing/biasing NNs towards less confident solutions by making the changes in the feature space (induced by changes in the instance space) of most layers smoother uniformly in all directions; so to a certain extent, it prevents sudden change in prediction w.r.t. perturbations. However, the end result of such smoothing concentrates samples around decision boundaries, resulting in less confident solutions, and leads to worse standard performance. Our studies suggest that one might consider ways that build AR into NNs in a gentler way to avoid the problematic regularization.

연구 동기 및 목표

• 딥 네ural 네트워크에서 적대적 로버스트니스 트레이닝이 표준 정확도를 떨어뜨리는 근본적인 정규화 메커니즘을 이해하기 위해.
• 적대적 트레이닝이 유도하는 신경망의 특정 구조적 및 표현적 변화를 규명하여 성능 저하 원인을 밝히기 위해.
• 특성 공간의 매끄러움과 모델 자신감, 특히 결정 경계 근처에서의 영향을 분석하기 위해.
• 적대적 트레이닝이 무해한 정규화제로 간주되는 것에 대한 가정을 도전하고, 오히려 예측에 대해 낮은 자신감을 유도하는 문제적 편향을 유도함을 보여주기 위해.
• 미래의 로버스트니스 방법은 과도한 매끄럽게 처리를 피하고, 표준 정확도를 유지하면서 더 부드럽게 로버스트니스를 구축해야 한다는 제안을 위해.

제안 방법

• 저자들은 딥 네ural 네트워크의 일반화 경계를 이론적으로 분석하여 적대적 로버스트니스와 표준 정확도 사이의 트레이드오프를 분석하기 위해 유도한다.
• 특성 공간의 매끄러움을 평가하기 위해 레이어 간의 특이값 표준편차를 측정하는 경험적 연구를 수행한다.
• 예측의 마진 분포를 분석하여 모델 자신감과 로버스트 트레이닝 하에서의 자신감 저하 정도를 정량화한다.
• CIFAR-10, CIFAR-100, Tiny-ImageNet 데이터셋에서 다양한 수준의 적대적 로버스트니스(epsilon 값)를 가진 모델을 비교한다.
• 표준 및 로버스트 트레이닝 환경에서 적대적 정확도를 평가하기 위해 10회 반복, 스텝 사이즈 2로 PGD 공격을 사용한다.
• 배치 정규화 없이 ResNet 모델을 훈련시켜 스펙트럴 노름의 행동을 분리하고, 매 에포크마다 스펙트럴 노름 클리핑을 수행한다.

실험 결과

연구 질문

• RQ1 적대적 로버스트니스 트레이닝이 딥 네ural 네트워크를 어떻게 정규화하며, 어떤 특정 인덕티브 바이어스를 유도하는가?
• RQ2 적대적 로버스트니스 트레이닝은 로버스트니스를 향상시키지만 표준 정확도가 떨어지는 이유는 무엇인가?
• RQ3 적대적 트레이닝이 레이어 전반에 걸쳐 특성 공간의 변환을 얼마나 균일하게 매끄럽게 하는가?
• RQ4 결정 경계 근처에 데이터 포인트가 집중되는 것이 모델 자신감과 일반화에 어떤 영향을 미치는가?
• RQ5 정규화 과정을 수정함으로써 적대적 트레이닝이 표준 정확도에 미치는 부정적 영향을 완화시킬 수 있는가?

주요 결과

• 적대적 로버스트니스는 대부분의 레이어에서 특성 공간의 변화를 모든 방향으로 균일하게 매끄럽게 하여 신경망을 정규화함으로써 달성된다.
• 이 매끄러운 효과는 데이터 포인트를 결정 경계 근처에 집중시키고, 모델 자신감을 낮추며, 결과적으로 표준 정확도가 떨어지게 한다.
• 적대적 로버스트니스 강도가 높을수록 레이어 간 특이값 표준편차가 증가하여, 더 균일하고 안정적인 특성 변환을 나타낸다.
• 높은 적대적 로버스트니스를 가진 모델는 높은 적대적 정확도(예: epsilon=16일 때 CIFAR-10에서 48.81%)를 보이지만, 표준 정확도는 낮아지며(예: ResNet-56에서 59.43%), 성능 저하가 발생한다.
• 로버스트니스와 정확도 사이의 트레이드오프는 단지 데이터 증강 때문이 아니라, 균일한 매끄러움을 통한 모델 자신감의 과도한 페널티 때문임을 규명한다.
• 본 연구는 현재의 적대적 트레이닝이 지나치게 공격적인 정규화를 유도하고 있으며, 이를 더 부드럽고 타겟된 방법으로 대체함으로써 표준 성능을 유지할 수 있음을 제안한다.