[논문 리뷰] Model Compression with Adversarial Robustness: A Unified Optimization Framework

Shupeng Gui, Haotao N. Wang외 4명|arXiv (Cornell University)|2019. 02. 10.

Adversarial Robustness in Machine Learning인용 수 62

한 줄 요약

이 논문은 ATMC를 소개합니다. 가축? 아니요. 이 논문은 pruning, 저랭크 분해, 비균일 양자화를 함께 수행하여 작고 견고한 CNN을 만들어내는 제약 최적화 프레임워크인 ATMC를 소개합니다. 결합된 제약을 처리하기 위해 ADMM을 사용하며, baselines에 비해 강인성–모델 크기 트레이드오프가 우수하다는 것을 보여줍니다.

ABSTRACT

Deep model compression has been extensively studied, and state-of-the-art methods can now achieve high compression ratios with minimal accuracy loss. This paper studies model compression through a different lens: could we compress models without hurting their robustness to adversarial attacks, in addition to maintaining accuracy? Previous literature suggested that the goals of robustness and compactness might sometimes contradict. We propose a novel Adversarially Trained Model Compression (ATMC) framework. ATMC constructs a unified constrained optimization formulation, where existing compression means (pruning, factorization, quantization) are all integrated into the constraints. An efficient algorithm is then developed. An extensive group of experiments are presented, demonstrating that ATMC obtains remarkably more favorable trade-off among model size, accuracy and robustness, over currently available alternatives in various settings. The codes are publicly available at: https://github.com/shupenggui/ATMC.

연구 동기 및 목표

• 자원 제약 환경(예: IoT)에서 적대적 강인성을 해치지 않고 CNN을 압축해야 할 필요성을 제시한다.
• pruning, 저랭크 분해, 양자화를 통합한 하나의 프레임워크를 설계한다.
• 제약된 min–max 문제를 풀기 위한 효율적 최적화 알고리즘(ADMM 기반)을 개발한다.
• 연구의 실증적 근거를 제공하여 ATMC가 순차적 또는 순진한 baselines보다 더 나은 강인성-크기 트레이드오프를 보임을 입증한다.

제안 방법

• ATMC를 제약된 min–max 최적화로 공식화하여 adversarial training이 경계 조건의 섭동에 대해 최악의 손실을 최소화하도록 한다.
• 합일의 희소성/구조 제약 W = UV + C를 부과하고 총 비영= ||U||0 + ||V||0 + ||C||0 ≤ k, 또한 비영요소당 양자화 제약 |θ|0 ≤ 2^b를 부과한다.
• 훈련 중 학습되는 비균일 양자화를 사용하여 고유한 비영값의 수를 비트 정밀도 매개변수 b로 제약한다.
• ADMM을 적용하여 제약을 분할하고 θ, θ′, 이중변수에 대해 교대 업데이트를 가능하게 하며, 양자화를 위한 ZeroKmeans 기반 프로젝션을 포함한다.
• 양자화를 학습된 값의 소수 집합에 비영 가중치를 할당하는 클러스터링과 유사한 프로젝션으로 표현한다(제로 포함).
• 알고리즘 개요를 제공한다(양자화를 위한 ZeroKmeans, pruning을 위한 희소 프로젝션, 훈련 중 적대적 예제 생성).

실험 결과

연구 질문

• RQ1 단일 최적화 프레임워크가 pruning, factorization, quantization에 걸쳐 모델 압축과 적대적 강인성을 함께 달성할 수 있는가?
• RQ2 ATMC로 압축된 모델이 baselines(순수 압축, 순수 방어, 또는 혼합)에 비해 더 우수한 강인성-정확도 및 압축 트레이드오프를 제공하는가?
• RQ3 ATMC로 압축된 모델의 강인성이 서로 다른 적대적 공격자와 섭동 수준에 일반화될 수 있는가?

주요 결과

• ATMC는 항상 모델 크기, 정확도, 강인성 간의 거래에서 baselines 조합보다 더 유리한 트레이드오프를 달성한다.
• 공동 최적화로 ATMC를 사용하면 높은 압축 비율에서도 경쟁력 있는 정상(비공격) 정확도와 강인성을 달성할 수 있다.
• 양자화(8-bit)는 32-bit 버전에 비해 강인성을 보존하면서 더 공격적인 압축을 가능하게 한다.
• ATMC로 압축된 모델은 더 조밀한 adversarially trained 모델에 버금가는 강인성을 보이며 필요한 매개변수 수는 훨씬 적다.
• ATMC를 이용한 압축은 순진한 압축 방법에서 관찰되는 정상 정확도와 공격받은 강인성 사이의 격차를 줄일 수 있다.