[논문 리뷰] Sparse DNNs with Improved Adversarial Robustness

Yiwen Guo, Chao Zhang외 2명|arXiv (Cornell University)|2018. 10. 23.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 57

한 줄 요약

이 논문은 가중치 연결과 활성화의 희소성이 선형 분류기와 비선형 DNN의 적대적 강건성에 미치는 영향을 분석하고, 적절한 희소성이 비선형 모델에서 l_infty 및 l_2 공격에 대한 강건성을 높일 수 있음을 보여준다. 이론적 경계와 MNIST 및 CIFAR-10에서의 실험적 가지치기(pruning) 실험을 결합한다.

ABSTRACT

Deep neural networks (DNNs) are computationally/memory-intensive and vulnerable to adversarial attacks, making them prohibitive in some real-world applications. By converting dense models into sparse ones, pruning appears to be a promising solution to reducing the computation/memory cost. This paper studies classification models, especially DNN-based ones, to demonstrate that there exists intrinsic relationships between their sparsity and adversarial robustness. Our analyses reveal, both theoretically and empirically, that nonlinear DNN-based classifiers behave differently under $l_2$ attacks from some linear ones. We further demonstrate that an appropriately higher model sparsity implies better robustness of nonlinear DNNs, whereas over-sparsified models can be more difficult to resist adversarial examples.

연구 동기 및 목표

• 분류기에서 희소성과 강건성 사이의 intrinsic 관계를 선형 및 비선형 DNN를 포함해 조사한다.
• l_infty 및 l_2 공격하에서 강건성을 정량화하는 지표를 개발한다.
• 선형 및 비선형 모델에 대해 희소성과 강건성 간의 이론적 경계를 제시한다.
• MNIST와 CIFAR-10에서 가지치기 및 활성화 희소성이 적대적 저항성에 미치는 영향을 경험적으로 검증한다.

제안 방법

• 선형 및 다중 클래스 선형 분류기에 대한 강건성 지표 r_infty 및 r_2를 정의한다.
• 가중치 희소성이 선형 모델의 r_infty 및 r_2에 미치는 이론적 관계를 도출한다.
• 지역 리프시츠 상수와 활성화/가중치 희소성을 이용하여 비선형 DNN에 대한 분석을 확장한다.
• 강건성을 실험적으로 평가하기 위해 가지치기 전략과 l1 활성화 정규화를 제안하고 적용한다.
• 모델 간 강건성을 측정하기 위해 adversarial 공격(FGS, DeepFool, C&W, rFGS)을 수행한다.
• LeNet, VGG-유사, ResNet 아키텍처를 사용해 MNIST(이진 및 다중 클래스)와 CIFAR-10에서 평가한다.

실험 결과

연구 질문

• RQ1 가중치의 희소성은 선형 분류기의 l_infty 및 l_2 적대적 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 비선형 DNN은 다양한 아키텍처와 데이터 세트에서 가중치 및 활성화의 희소성 증가에 대해 일관된 강건성 향상을 보이는가?
• RQ3 네트워크 희소성과 강건성 지표를 관련지어 상한을 제시할 수 있는 이론적 관계는 무엇인가?
• RQ4 가지치기와 활성화 정규화가 정확도 저하 전후에 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 선형 이진/다중 클래스 분류기에서 가중치 희소성이 증가하면 l_infty 강건성(r_infty)은 향상될 수 있지만 r_2 강건성은 반드시 향상되지 않을 수 있다.
• 비선형 DNN은 임계 수준까지 희소성이 증가하면 l_infty와 l_2 공격 모두에 대해 일관된 강건성 향상을 보인다.
• l1 정규화를 통한 활성화 희소성도 특정 희소성 범위에서 더 높은 강건성과 상관관계가 있다.
• 과도한 가지치기는 악의적 강건성의 급격한 하락으로 이어지며 정상 정확도 저하 이전에 발생한다.
• 매우 희소한 사전 구성 모델은 조밀한 대안보다 적대적 공격에 더 취약할 수 있다.
• 이론적 결과는 지역 리프시트 상수와 희소성을 비선형 네트워크의 강건성 경계와 연결한다.