[논문 리뷰] HYDRA: Pruning Adversarially Robust Neural Networks

Vikash Sehwag, Shiqi Wang외 2명|arXiv (Cornell University)|2020. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 31

한 줄 요약

HYDRA는 가지치기를 강건한 학습 목표에 의해 이끄는 경험적 위험 최소화 문제로 재구성하여, 여러 데이터셋과 강건한 학습 방법에서 정상 정확도와 적대적 강건성 두 가지를 모두 유지하는 매우 압축된 네트워크를 제공합니다.

ABSTRACT

In safety-critical but computationally resource-constrained applications, deep learning faces two key challenges: lack of robustness against adversarial attacks and large neural network size (often millions of parameters). While the research community has extensively explored the use of robust training and network pruning independently to address one of these challenges, only a few recent works have studied them jointly. However, these works inherit a heuristic pruning strategy that was developed for benign training, which performs poorly when integrated with robust training techniques, including adversarial training and verifiable robust training. To overcome this challenge, we propose to make pruning techniques aware of the robust training objective and let the training objective guide the search for which connections to prune. We realize this insight by formulating the pruning objective as an empirical risk minimization problem which is solved efficiently using SGD. We demonstrate that our approach, titled HYDRA, achieves compressed networks with state-of-the-art benign and robust accuracy, simultaneously. We demonstrate the success of our approach across CIFAR-10, SVHN, and ImageNet dataset with four robust training techniques: iterative adversarial training, randomized smoothing, MixTrain, and CROWN-IBP. We also demonstrate the existence of highly robust sub-networks within non-robust networks. Our code and compressed networks are publicly available at \url{https://github.com/inspire-group/compactness-robustness}.

연구 동기 및 목표

• 다양한 강건 학습 목표 하에서 적대적 강건성을 보존하는 가지치기 방법을 제시한다.
• 연결 구성 가지치기를 안내하기 위해 강건한 학습 손실을 이용하는 가지치기 프레임워크를 개발한다.
• 정상 정확도나 강건성 중 어느 하나도 희생하지 않으면서 높은 비율의 가지치기(높은 희소성)를 가능하게 한다.
• 적대적 학습, 검증 가능한 강건성, 무작위 스무딩, MixTrain 등 다양한 강건성 패러다임에 걸친 일반화를 보여준다.

제안 방법

• 강건성 인식 손실을 갖는 경험적 위험 최소화 문제로 가지치기를 공식화한다.
• 가지치기할 연결을 탐색하기 위해 중요도 점수 기반 최적화를 사용한다.
• 사전 학습 가중치에 비례하도록 중요도 점수의 스케일링된 초기화를 도입하여 가지치기 성능을 향상시킨다.
• 여러 가지 강건 학습 목표(적대적 학습, MixTrain 및 CROWN-IBP를 통한 검증 가능 강건성, 무작위 스무딩)와 가지치기를 통합한다.
• 가지치기 후 가지치지 않은 연결만 미세조정하여 성능을 회복한다.

실험 결과

연구 질문

• RQ1 가지치기가 정상 학습 휴리스틱에 의존하기보다 강건 학습 목표를 인식하도록 만들 수 있는가?
• RQ2 강건성 인식 가지치기가 다양한 강건성 목표 전반에서 정상 정확도와 강건 정확도 모두를 희생하지 않으면서 높은 압축을 가능하게 하는가?
• RQ3 비강건 네트워크 내에서도 강건한 서브네트워크를 발견할 수 있으며, 가지치기가 다양한 강건성 목표 하에서 이를 드러낼 수 있는가?
• RQ4 HYDRA가 데이터셋과 아키텍처 전반에 걸쳐 기존의 강건 가지치기 방법(Adv-LWM, Adv-ADMM)과 어떻게 비교되는가?
• RQ5 이 방법은 대형 데이터셋(예: ImageNet)과 다양한 강건성 형식(적대적 학습, 검증 가능한 강건성, 스무딩, MixTrain 등)에 대해 확장 가능한가?
• RQ6

주요 결과

• HYDRA는 CIFAR-10, SVHN, ImageNet 전반에서 이전 가지치기 방법에 비해 정상 정확도와 강건성 모두를 지속적으로 향상시킨다.
• 중요도 점수의 스케일링 초기화가 성능의 핵심 동인이며, 더 빠른 수렴과 더 나은 가지치기 결과를 가능하게 한다.
• HYDRA는 Adv-LWM 및 Adv-ADMM를 여러 아키텍처와 가지치기 비율에서 능가하며, 99%에 이르는 매우 높은 가지치기도 포함한다.
• 이 방법은 네 가지 강건 학습 목표(반복적 적대적 학습, 무작위 스무딩, MixTrain 및 CROWN-IBP)로 일반화되며, era 및 vra 지표에서 강건한 향상이 관찰된다.
• 비강건 네트워크 내에도 매우 강건한 서브네트워크가 존재하여 사전 학습 중 전체 강건성을 가지지 않더라도 강건성 가능성을 시사한다.
• 가지치기된 네트워크는 더 강한 공격 하에서도 사전 학습된 강건성을 유지하거나 초과할 수 있으며, 손실 최소화로 추가 양자화(8비트)도 가능하다.