[논문 리뷰] Towards Compact and Robust Deep Neural Networks

Vikash Sehwag, Shiqi Wang외 2명|arXiv (Cornell University)|2019. 06. 14.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 22

한 줄 요약

이 논문은 모델 압축 중에 양성 정확도와 강건성 정확도를 모두 유지하는 새로운 프루닝 프레임워크를 제안한다. 사전 훈련 및 미세조정 목표를 적대적 강건성과 일치시키고, 강건성 무관 프루닝 전략을 사용함으로써, CIFAR-10에서 10배 압축 시 93%의 양성 정확도, 92.5%의 실증적 강건성 정확도, 85%의 검증 가능한 강건성 정확도를 달성한다.

ABSTRACT

Deep neural networks have achieved impressive performance in many applications but their large number of parameters lead to significant computational and storage overheads. Several recent works attempt to mitigate these overheads by designing compact networks using pruning of connections. However, we observe that most of the existing strategies to design compact networks fail to preserve network robustness against adversarial examples. In this work, we rigorously study the extension of network pruning strategies to preserve both benign accuracy and robustness of a network. Starting with a formal definition of the pruning procedure, including pre-training, weights pruning, and fine-tuning, we propose a new pruning method that can create compact networks while preserving both benign accuracy and robustness. Our method is based on two main insights: (1) we ensure that the training objectives of the pre-training and fine-tuning steps match the training objective of the desired robust model (e.g., adversarial robustness/verifiable robustness), and (2) we keep the pruning strategy agnostic to pre-training and fine-tuning objectives. We evaluate our method on four different networks on the CIFAR-10 dataset and measure benign accuracy, empirical robust accuracy, and verifiable robust accuracy. We demonstrate that our pruning method can preserve on average 93\% benign accuracy, 92.5\% empirical robust accuracy, and 85.0\% verifiable robust accuracy while compressing the tested network by 10$ imes$.

연구 동기 및 목표

• 기존의 네트워크 프루닝 방법들이 모델 압축 과정에서 적대적 강건성을 유지하지 못하는 격차를 해결하기 위해.
• 강건하게 사전 훈련된 네트워크를 프루닝한 후 자연 훈련 목표로 미세조정을 수행할 경우 강건성이 유지되는지 조사하기 위해.
• 사전 훈련된 강건한 네트워크를 프루닝하는 것이 훈련에서부터 작고 단순한 네트워크를 학습하는 것보다 유리한지 평가하기 위해.
• 미세조정 없이 프루닝이 강건성에 미치는 영향을 분석하고 표준 프루닝 파이프라인의 실패 원인을 특정하기 위해.
• 사전 훈련, 프루닝, 미세조정 단계에서 훈련 목표를 일치시키는 것이 강건성 유지에 필수적임을 입증하기 위해.

제안 방법

• 목표 일치에 중점을 두고 사전 훈련, 반복적 프루닝, 미세조정을 포함하는 체계적인 프루닝 파이프라인을 제안한다.
• 미세조정 목표를 사전 훈련 단계에서 사용된 적대적 강건성 또는 검증 가능한 강건성 목표와 일치시킨다.
• 크기 기반 프루닝을 사용하지만, 훈련 목표에서 프루닝 전략을 분리하여 강건성 무관 전략을 채택한다.
• 일반화 성능 평가를 위해 비구조적 및 구조적 프루닝을 모두 적용한다.
• 사전 훈련 단계에서 MixTrain과 같은 강건한 훈련 기법을 사용하여 프루닝 이전에 초기 강건성을 확보한다.
• 강건성 유지 여부를 평가하기 위해, 자연 훈련 또는 강건한 훈련 목표를 사용하여 프루닝된 네트워크를 미세조정한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 강건한 네트워크에 표준 무게 크기 기반 프루닝을 적용할 경우, 적대적 강건성이 유지되는가?
• RQ2 자연 훈련 목표로 미세조정을 수행할 경우, 강건하게 사전 훈련된 모델을 프루닝한 후에도 강건성이 유지되는가?
• RQ3 사전 훈련과 미세조정 목표를 일치시킬 경우, 강건성 유지에 어떤 영향을 미치는가?
• RQ4 프루닝 기반 압축 방식과 훈련에서부터 작고 단순한 네트워크를 학습하는 방식을 비교했을 때, 강건성과 정확도 측면에서 어떤 차이가 있는가?
• RQ5 제안된 방법을 사용할 경우, 높은 압축 비율(예: 10배)에서도 강건성이 어느 정도 유지될 수 있는가?

주요 결과

• 미세조정 없이도 증가하는 프루닝 비율에 따라 적대적 강건성이 양성 정확도와 유사하게 약화되며, 이는 강건성이 본질적으로 더 취약하지 않음을 시사한다.
• 자연 훈련 목표로 미세조정를 수행할 경우, 사전 훈련과 미세조정 간 목표 불일치로 인해 강건성이 유지되지 않는다.
• 미세조정 시 사전 훈련 단계와 동일한 강건한 목표를 사용할 경우, 10배 압축에서 92.5%의 실증적 강건성 정확도와 85.0%의 검증 가능한 강건성 정확도를 유지한다.
• 이 방법은 10배 압축에서 평균적으로 93%의 양성 정확도를 유지하며, 정확도 손실가 최소화된 고밀도 압축을 실현한다.
• 구조적 프루닝은 10배 압축에서 84.3%의 양성 정확도, 90.4%의 실증적 강건성 정확도, 73.8%의 검증 가능한 강건성 정확도를 달성한다.
• 프루닝 기반 접근은 훈련에서부터 시작하는 것보다 양성 정확도를 최대 10% 향상시키고, 강건성 정확도를 3.8% 향상시킨다. 특히 높은 강건성 요구 조건 하에서 유리하다.