[논문 리뷰] Quantization Backdoors to Deep Learning Models.

Hua Ma, Huming Qiu외 6명|arXiv (Cornell University)|2021. 08. 20.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 8

한 줄 요약

이 논문은 텐서플로우 라이트(TensorFlow Lite)를 사용한 표준 후학습 양자화가 이전에 무역 상태였던 전체 정밀도 딥러닝 모델에서 백도어를 활성화할 수 있음을 드러내며, float-32 모델을 int-8로 양자화한 후 트리거 입력에 대해 공격 성공률가 100%에 이르게 되었음에도 불구하고 Neural Cleanse 및 STRIP와 같은 프론트엔드 검출 도구를 통과함으로써, 이는 기기 내 모델 양자화 파이프라인에서 심각한 보안 위험을 노출시킴.

ABSTRACT

There is currently a burgeoning demand for deploying deep learning (DL) models on ubiquitous edge Internet of Things devices attributing to their low latency and high privacy preservation. However, DL models are often large in size and require large-scale computation, which prevents them from being placed directly onto IoT devices where resources are constrained and 32-bit floating-point operations are unavailable. Model quantization is a pragmatic solution, which enables DL deployment on mobile devices and embedded systems by effortlessly post-quantizing a large high-precision model into a small low-precision model while retaining the model inference accuracy. This work reveals that the standard quantization operation can be abused to activate a backdoor. We demonstrate that a full-precision backdoored model that does not have any backdoor effect in the presence of a trigger -- as the backdoor is dormant -- can be activated by the default TensorFlow-Lite quantization, the only product-ready quantization framework to date. We ascertain that all trained float-32 backdoored models exhibit no backdoor effect even in the presence of trigger inputs. State-of-the-art frontend detection approaches, such as Neural Cleanse and STRIP, fail to identify the backdoor in the float-32 models. When each of the float-32 models is converted into an int-8 format model through the standard TFLite post-training quantization, the backdoor is activated in the quantized model, which shows a stable attack success rate close to 100% upon inputs with the trigger, while behaves normally upon non-trigger inputs. This work highlights that a stealthy security threat occurs when end users utilize the on-device post-training model quantization toolkits, informing security researchers of cross-platform overhaul of DL models post quantization even if they pass frontend inspections.

연구 동기 및 목표

• 표준 후학습 양자화가 전체 정밀도 딥러닝 모델에 잠재된 백도어를 부작스럽게 활성화할 수 있는지 조사하기.
• Neural Cleanse 및 STRIP와 같은 기존 프론트엔드 백도어 검출 방법의 효과성을 float-32 모델에 숨겨진 백도어가 있는 경우에 평가하기.
• TensorFlow Lite와 같은 양자화 프레임워크가 잠재된 백도어를 활성화하는 공격 벡터로 기능할 수 있음을 보여주기.
• 모델 파이프라인 전반에 걸쳐 종단 간 신뢰가 확보되지 않은 채로 기기 내 양자화 툴킷에 의존할 경우 발생하는 보안 영향을 강조하기.

제안 방법

• 청결한 입력에서 추론하는 동안도 활성화되지 않는 백도어를 내장한 전체 정밀도(float-32) 딥러닝 모델을 훈련하기.
• 재학습 없이 표준 텐서플로우 라이트(TFLite) 후학습 양자화를 적용하여 float-32 모델을 int-8 모델로 변환하기.
• 트리거 입력과 비트리거 입력에 대해 양자화된 모델의 동작을 평가하여 백도어 활성화 여부를 탐지하기.
• 양자화 이전의 원본 float-32 모델에 대해 최신 백도어 검출 기법인 Neural Cleanse 및 STRIP의 유효성 검사를 수행하기.
• 여러 데이터셋과 모델 아키텍처를 대상으로 청결 입력 및 트리거 입력에서의 공격 성공률 및 모델 정확도 측정하기.
• 수치 변환 과정을 분석하여 백도어 활성화를 가능하게 하는 요소 규명하기.

실험 결과

연구 질문

• RQ1 TensorFlow Lite와 같은 표준 후학습 양자화 프레임워크가 이전에 무역 상태였던 전체 정밀도 딥러닝 모델의 백도어를 활성화할 수 있는가?
• RQ2 Neural Cleanse 및 STRIP와 같은 기존 프론트엔드 백도어 검출 기법이 이후 양자화 과정에서 활성화되는 float-32 모델의 백도어를 성공적으로 식별할 수 있는가?
• RQ3 TFLite를 사용해 int-8로 양자화한 후 백도어의 공격 성공률은 얼마이며, 트리거 입력과 비트리거 입력 간에 어떻게 달라지는가?
• RQ4 표준 양자화 절차가 모델 파이프라인에서 백도어 검출의 무결성을 유지하지 못하는 이유는 무엇인가?
• RQ5 양자화 과정 자체가 이전에 비활성화된 백도어를 활성화함으로써 새로운 공격 표면을 어떻게 제공하는가?

주요 결과

• 모든 float-32 백도어가 부착된 모델은 트리거 입력이 제공되어도 추론 과정에서 백도어 행동의 흔적을 보이지 않았으며, 이는 백도어가 여전히 무역 상태였음을 시사함.
• 텐서플로우 라이트(TFLite)를 사용한 후학습 양자화를 통해 int-8로 변환한 후, 백도어가 성공적으로 활성화되어 트리거 입력에 대해 안정적인 공격 성공률 약 100%를 기록함.
• 양자화된 모델은 비트리거 입력에서 정상적인 정확도를 유지하여, 양자화 이후에도 공격의 은밀함이 유지됨을 확인함.
• 최신 기술인 Neural Cleanse 및 STRIP는 원본 float-32 모델에서 백도어를 탐지하지 못했으며, 이는 다른 백도어 변종에 대해서는 효과가 있음에도 불구하고.
• 결과적으로 양자화 과정 자체가 잠재적 백도어를 활성화하는 트리거 역할을 할 수 있음을 보여주며, 기기 내 모델 배포 파이프라인에서 심각한 보안 격차를 드러냄.
• 이 연구는 모델 양자화 파이프라인에서 이전에 알려지지 않은 공격 표면을 폭 드러내며, 양자화 툴킷에 대한 신뢰가 백도어 활성화를 감지하지 못하게 할 수 있음을 시사함.