[논문 리뷰] QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks

Priyadarshini Panda|arXiv (Cornell University)|2020. 04. 22.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 11

한 줄 요약

QUANOS는 적대적 노이즈 민감도(ANS)를 기반으로 각 레이어별로 비트 폭을 할당하는 하이브리드 양자화 프레임워크를 제안하며, 딥 네트워크(DNN)의 에너지 효율성과 강건성을 향상시킨다. 적대적 공격에 대한 취약성을 줄이기 위해 각 레이어의 정밀도를 최적화함으로써, 동일 정확도 조건에서 8비트 기준선 대비 3.7배 메모리 압축과 2배의 에너지 절감을 달성하며, 적대적 훈련과 조합 시 최대 16% 높은 강건성을 확보한다.

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be vulnerable to adversarial attacks, wherein, a model gets fooled by applying slight perturbations on the input. With the advent of Internet-of-Things and the necessity to enable intelligence in embedded devices, low-power and secure hardware implementation of DNNs is vital. In this paper, we investigate the use of quantization to potentially resist adversarial attacks. Several recent studies have reported remarkable results in reducing the energy requirement of a DNN through quantization. However, no prior work has considered the relationship between adversarial sensitivity of a DNN and its effect on quantization. We propose QUANOS- a framework that performs layer-specific hybrid quantization based on Adversarial Noise Sensitivity (ANS). We identify a novel noise stability metric (ANS) for DNNs, i.e., the sensitivity of each layer's computation to adversarial noise. ANS allows for a principled way of determining optimal bit-width per layer that incurs adversarial robustness as well as energy-efficiency with minimal loss in accuracy. Essentially, QUANOS assigns layer significance based on its contribution to adversarial perturbation and accordingly scales the precision of the layers. A key advantage of QUANOS is that it does not rely on a pre-trained model and can be applied in the initial stages of training. We evaluate the benefits of QUANOS on precision scalable Multiply and Accumulate (MAC) hardware architectures with data gating and subword parallelism capabilities. Our experiments on CIFAR10, CIFAR100 datasets show that QUANOS outperforms homogenously quantized 8-bit precision baseline in terms of adversarial robustness (3%-4% higher) while yielding improved compression (>5x) and energy savings (>2x) at iso-accuracy.

연구 동기 및 목표

• 자원 제약이 있는 IoT 및 임베디드 디바이스에서 에너지 효율적이고 안전한 DNN 배포에 대한 점점 증가하는 수요를 해결하기 위해.
• 양자화가 에너지 절감 외에도 적대적 강건성 향상에 기여할 수 있는지 탐구하기 위해.
• 적대적 민감도에 기반해 각 레이어별 최적의 비트 폭을 할당하는 방법을 개발하여 체계적 탐색과 사전 훈련 모델에 의존하지 않기 위해.
• 데이터 게이팅과 동적 전압/주파수 스케일링(DVAFS)을 통합한 시스템 어레이 가속기에서 제안된 방법의 하드웨어 효율성과 강건성을 평가하기 위해.
• 적대적 노이즈 민감도 기반 하이브리드 양자화가 정확도, 압축률, 강건성 측면에서 동종 양자화보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 각 레이어가 적대적 편향에 기여하는 정도를 정량화하기 위해 새로운 적대적 노이즈 민감도(ANS) 지표를 제안한다.
• ANS를 활용해 각 레이어의 최적 비트 폭을 결정하며, 적대적 노이즈에 더 민감한 레이어에는 낮은 정밀도를 할당한다.
• 사전 훈련 모델에 의존하지 않고, 약 20~30 에포크 이후의 초기 훈련 단계에서 양자화 프레임워크를 적용한다.
• 에너지 효율성을 위해 데이터 게이팅과 동적 전압/주파수 스케일링(DVAFS)과 같은 하드웨어 인식 최적화를 통합한다.
• 에너지 소모, 메모리 압축률, 추론 성능을 측정하기 위해 2D 시스템 어레이 가속기를 하드웨어 평가에 활용한다.
• QUANOS를 적대적 훈련(AdvTrain+FGSM/PGD)과 조합하여 강력한 공격에 대한 강건성을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 레이어별 하이브리드 양자화가 에너지 효율성과 정확도를 유지하면서도 적대적 강건성을 향상시킬 수 있는가?
• RQ2 적대적 노이즈 민감도(ANS)는 레이어 수준의 적대적 공격에 대한 취약성과 어떻게 상관관계가 있는가?
• RQ3 QUANOS는 동일 정확도 조건에서 동종 8비트 양자화보다 더 나은 압축률과 에너지 절감을 달성할 수 있는가?
• RQ4 QUANOS를 적대적 훈련과 통합하면 최신 기법 대비 뛰어난 강건성을 확보할 수 있는가?
• RQ5 QUANOS는 사전 훈련 모델이 필요 없이 조기에 적용 가능하여 효과적으로 기능하는가?

주요 결과

• CIFAR10에서 QUANOS는 동일 정확도 조건에서 8비트 동종 양자화 대비 3.7배 메모리 압축과 2배의 에너지 절감을 달성한다.
• CIFAR10에서 QUANOS는 화이트박스 공격 조건에서 8비트 기준선 대비 3~4% 높은 적대적 강건성을 확보한다.
• 동일 압축률 조건에서 QUANOS는 강력한 PGD 공격에 대해 유사 크기의 기준선 대비 10% 이상 높은 적대적 강건성을 확보한다.
• 적대적 훈련과 조합 시, QUANOS는 CIFAR10과 CIFAR100에서 최신 기법보다 5~16% 높은 강건성을 확보한다.
• CIFAR100에서 QUANOS는 근사 동일 정확도 조건에서 8비트 기준선 대비 3.6배 메모리 압축과 1.4~2.4배의 에너지 효율성 향상을 달성한다.
• FGSM 및 PGD 공격 조건에서 QUANOS는 8비트 기준선 대비 적대적 손실을 4~7% 감소시키며, 4비트 모델보다 PGD 공격에 훨씬 더 강건한 것으로 나타났다.