[논문 리뷰] Defensive Quantization: When Efficiency Meets Robustness

Ji Lin, Chuang Gan외 1명|arXiv (Cornell University)|2019. 04. 17.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 34

한 줄 요약

일반적인 신경망 양자화가 오히려 에러 증폭 효과로 인해 적대적 강건성을 해치며, Defesive Quantization(DQ)를 도입하여 양자화 중 Lipschitz 상수를 정규화해 효율성을 유지하면서 강건성을 높인다. CIFAR-10과 SVHN에서 입증.

ABSTRACT

Neural network quantization is becoming an industry standard to efficiently deploy deep learning models on hardware platforms, such as CPU, GPU, TPU, and FPGAs. However, we observe that the conventional quantization approaches are vulnerable to adversarial attacks. This paper aims to raise people's awareness about the security of the quantized models, and we designed a novel quantization methodology to jointly optimize the efficiency and robustness of deep learning models. We first conduct an empirical study to show that vanilla quantization suffers more from adversarial attacks. We observe that the inferior robustness comes from the error amplification effect, where the quantization operation further enlarges the distance caused by amplified noise. Then we propose a novel Defensive Quantization (DQ) method by controlling the Lipschitz constant of the network during quantization, such that the magnitude of the adversarial noise remains non-expansive during inference. Extensive experiments on CIFAR-10 and SVHN datasets demonstrate that our new quantization method can defend neural networks against adversarial examples, and even achieves superior robustness than their full-precision counterparts while maintaining the same hardware efficiency as vanilla quantization approaches. As a by-product, DQ can also improve the accuracy of quantized models without adversarial attack.

연구 동기 및 목표

• 배포된 양자화 모델이 적대적 공격에 노출될 때 보안 우려를 제시한다.
• 전통적 양자화가 오류 증폭을 통해 취약성을 유발하는 이유를 설명한다.
• 효율성과 강건성을 함께 향상시키는 양자화 방법(DQ)을 제안한다.
• DQ가 일반 양자화를 능가하거나 선택된 데이터세트에서 전체 정밀도 강건성과 일치하거나 이를 능가하는 empirical 증거를 제시한다.
• DQ가 다른 방어 기법과의 호환성과 교육상의 이점을 강조한다.

제안 방법

• 층 간 오류 증폭으로 양자화가 적대적 공격에 취약하다는 실증 연구를 제시한다.
• 네트워크의 Lipschitz 상수를 제약하여 노이즈 증폭을 방지하는 Defensive Quantization(DQ)을 도입한다.
• 계층의 Lipschitz 상수를 ≤ 1(비팽창)로 유지하기 위해 가중치의 항목 ||W^T W − I||^2로 정규화한다.
• 활성화 양자화(ReLU6)를 적용하고 학습 목표에 Lipschitz 정규화를 통합한다: L = L_CE + (β/2) sum_W ||W^T W − I||^2.
• Prior work와 같이 ResNets에 대한 볼록한 집계 조정을 적용하여 안정성을 유지한다.
• DQ가 다른 방어 기법(예: 적대적 훈련, 특징 압축)과 결합되어 강건성을 높일 수 있음을 시연한다.

실험 결과

연구 질문

• RQ1 전통적 양자화가 순수 정밀도 모델에 비해 적대적 예에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 양자화 중 Lipschitz 상수 제어가 계층 간 적대적 섭동 증폭을 방지할 수 있는가?
• RQ3 Defensive Quantization은 하드웨어 효율성을 유지하면서 강건성을 개선하거나 유지하는가?
• RQ4 DQ가 다른 방어 전략과 얼마나 잘 협력하여 전반적인 적대적 강건성을 높일 수 있는가?

주요 결과

• 일반적인 활성화 양자화는 정밀도는 유지되더라도 적대적 공격에 대해 양자화된 모델의 강건성을 저하시킨다.
• Defensive Quantization(DQ)은 일반 양자화와 동일한 하드웨어 효율성을 유지하면서 전체 정밀도 모델의 강건성에 도달하거나 이를 능가한다.
• 레이어 Lipschitz 상수를 비팽창적으로 유지하도록 정규화하면 노이즈 전파를 감소시키고 β 값이 커질수록 강건성 이득이 커진다.
• DQ는 활성화의 다이내믹 레인지 제약과 트렁션으로 인한 최적화 난이도 감소를 통해 깨끗한 데이터에서의 훈련을 개선할 수 있다.
• DQ는 다른 방어(예: 적대적 훈련, 특징 압축)의 효과를 보완하거나 더 향상시킬 수 있다.