[논문 리뷰] Quantization Backdoors to Deep Learning Commercial Frameworks

Hua Ma, Huming Qiu외 8명|arXiv (Cornell University)|2021. 08. 20.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 텐서플로우 라이트(TFLite)와 파이토치 모바일(PyTorch Mobile)와 같은 상용 딥러닝 양자화 프레임워크를 활용해, 후기 훈련 양자화 이후에만 악성 백도어가 활성화되는 새로운 백도어 공격인 PQ 백도어를 제시한다. 이 공격은 전체 정밀도 모델에 침잠된 백도어를 내장하여 표준 점검 기간 동안는 탐지되지 않지만, 양자화된 int-8 모델에서는 거의 100%의 공격 성공률를 기록함으로써 현장에서 실행되는 AI 배포 파이프라인에 심각한 보안 위험을 드러낸다.

ABSTRACT

Currently, there is a burgeoning demand for deploying deep learning (DL) models on ubiquitous edge Internet of Things (IoT) devices attributed to their low latency and high privacy preservation. However, DL models are often large in size and require large-scale computation, which prevents them from being placed directly onto IoT devices, where resources are constrained and 32-bit floating-point (float-32) operations are unavailable. Commercial framework (i.e., a set of toolkits) empowered model quantization is a pragmatic solution that enables DL deployment on mobile devices and embedded systems by effortlessly post-quantizing a large high-precision model (e.g., float-32) into a small low-precision model (e.g., int-8) while retaining the model inference accuracy. However, their usability might be threatened by security vulnerabilities. This work reveals that the standard quantization toolkits can be abused to activate a backdoor. We demonstrate that a full-precision backdoored model which does not have any backdoor effect in the presence of a trigger -- as the backdoor is dormant -- can be activated by the default i) TensorFlow-Lite (TFLite) quantization, the only product-ready quantization framework to date, and ii) the beta released PyTorch Mobile framework. When each of the float-32 models is converted into an int-8 format model through the standard TFLite or Pytorch Mobile framework's post-training quantization, the backdoor is activated in the quantized model, which shows a stable attack success rate close to 100% upon inputs with the trigger, while it behaves normally upon non-trigger inputs. This work highlights that a stealthy security threat occurs when an end user utilizes the on-device post-training model quantization frameworks, informing security researchers of cross-platform overhaul of DL models post quantization even if these models pass front-end backdoor inspections.

연구 동기 및 목표

• 후기 훈련 양자화 이후에만 활성화되는 새로운 보안 취약점을 폭 드러내어 상용 딥러닝 양자화 프레임워크에서의 스텔스 백도어 활성화를 규명하는 것.
• 백도어가 청소년 입력이나 트리거 입력조차도 행동에 영향을 주지 않아 보통의 모델로 보이게 되는 전체 정밀도(float-32) 모델에 잠재적으로 숨겨져 있어도, 표준 후기 훈련 양자화 이후에만 완전히 활성화됨을 보여주는 것.
• 기존의 백도어 탐지 방어 기법이 이 새로운 위협에 대해 얼마나 효과적인지 평가하여, 전체 정밀도 단계에서 백도어를 탐지하지 못함을 입증하는 것.
• 양자화 이전에 전체 정밀도 모델에 가우시안 노이즈를 주입하여 경량이고 사용자 친화적인 예방 방어 기법을 제안하고 검증하는 것.
• 모델가 전면 보안 점검을 통과하더라도 상용 양자화 툴킷을 통한 현장 배포 시 보안 위험을 부각하는 것.

제안 방법

• 공격은 청소년 입력이나 트리거 입력에 영향을 주지 않아 보통의 모델처럼 보이게 되는 전체 정밀도 백도어 모델(M_bd)을 구성한다.
• 백도어는 텐서플로우 라이트 또는 파이토치 모바일를 통해 후기 훈련 양자화 과정 중에만 활성화되며, 이 과정에서 float-32 모델이 int-8 모델로 변환된다.
• 공격은 양자화 특유의 행동—특히 가중치 반올림과 동적 범위 양자화—를 악용하여, 양자화 과정에서 발생하는 미세한 가중치 변화가 저정밀도 모델에서 백도어 효과를 극대화함을 이용한다.
• 연구진은 세 가지 표준 아키텍처(VGG16, ResNet18, ResNet50)와 세 가지 데이터셋(MNIST, CIFAR10, GTSRB)을 사용하여 다양한 모델 및 데이터 구성에서 공격의 유효성을 검증한다.
• 예방 방어 기법으로는 양자화 이전에 전체 정밀도 모델의 가중치에 작은 가우시안 노이즈를 주입하는 방식을 제안하며, 이는 청소년 정확도에 영향을 주지 않으면서도 양자화된 모델에서 백도어를 무력화한다.
• 노이즈 방어 기법의 효과는 다양한 노이즈 진폭에서 공격 성공률(ASR)과 청소년 데이터 정확도(CDA)를 측정하여 평가하며, 이는 ASR에 대해 이중 단계의 감소 효과를 보임을 확인한다.

실험 결과

연구 질문

• RQ1 전체 정밀도 딥러닝 모델에 백도어를 삽입할 수 있는가? 이는 표준 점검 기간 동안에는 탐지되지 않지만, 후기 훈련 양자화 이후에만 활성화된다.
• RQ2 기존의 백도어 탐지 방어 기법이 전체 정밀도 모델 단계에서 이러한 백도어를 탐지하지 못하는 정도는 어느 정도인가?
• RQ3 표준 상용 양자화 프레임워크에서 다양한 모델 아키텍처와 데이터셋에 대해 PQ 백도어의 효과는 어느 정도인가?
• RQ4 훈련이 필요 없는 경량 방어 기법이 양자화된 모델에서의 백도어 활성화를 효과적으로 방지할 수 있는가?
• RQ5 가우시안 노이즈 주입이 청소년 성능에 영향을 주지 않으면서도 양자화된 모델에서 백도어를 어떻게 무력화하는가?

주요 결과

• PQ 백도어는 트리거가 활성화되었을 때 양자화된 int-8 모델에서 거의 100%의 공격 성공률(ASR)을 기록하지만, 전체 정밀도 모델에서는 탐지 가능한 백도어 행동이 전혀 없음.
• 4종의 최첨단 백도어 탐지 방어 기법이 전체 정밀도 모델 단계에서 백도어를 탐지하지 못하여, 이는 사전 양자화 점검 기간 동안의 스텔스성 확인에 기여함.
• 이 공격은 VGG16, ResNet18, ResNet50 등의 다양한 모델 아키텍처와 MNIST, CIFAR10, GTSRB 등의 데이터셋에서 효과적이며, 광범위한 적용 가능성을 보임.
• 이 공격은 TFLite와 베타 파이토치 모바일 프레임워크를 통해 양자화 과정에서만 활성화되며, 상용 툴킷에서의 다중 플랫폼 취약성을 시사함.
• 양자화 이전에 전체 정밀도 모델에 가우시안 노이즈를 주입하면 양자화된 모델에서 ASR가 감소하며, 이는 이중 단계 효과를 보임: 초기 억제 → 부분 회복 → 고진폭에서의 추가 억제.
• 노이즈 방어 기법은 효과적이며, 경량이며 재훈련이 필요 없어 PQ 백도어에 대한 실용적인 예방 조치로 활용 가능함.