[논문 리뷰] Backdoor Vulnerabilities in Normally Trained Deep Learning Models

Guanhong Tao, Zhenting Wang외 8명|arXiv (Cornell University)|2022. 11. 29.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 데이터 오염 없이도 일반적으로 훈련된 딥 러닝 모델에 자연스러운 백도어 취약성—악성 트리거가 오분류를 유도하는 것—이 널리 존재함을 드러낸다. 새로운 탐지 프레임워크를 활용해 저자들은 56개의 공개 모델에서 315개의 자연스러운 백도어를 식별했으며, 이는 기존 스캐너가 대부분의 이러한 취약성을 놓친다는 것을 보여주고, 모델 하드닝을 방어 전략으로 제안한다.

ABSTRACT

We conduct a systematic study of backdoor vulnerabilities in normally trained Deep Learning models. They are as dangerous as backdoors injected by data poisoning because both can be equally exploited. We leverage 20 different types of injected backdoor attacks in the literature as the guidance and study their correspondences in normally trained models, which we call natural backdoor vulnerabilities. We find that natural backdoors are widely existing, with most injected backdoor attacks having natural correspondences. We categorize these natural backdoors and propose a general detection framework. It finds 315 natural backdoors in the 56 normally trained models downloaded from the Internet, covering all the different categories, while existing scanners designed for injected backdoors can at most detect 65 backdoors. We also study the root causes and defense of natural backdoors.

연구 동기 및 목표

• 데이터 오염 없이도 일반적으로 훈련된 딥 러닝 모델에 백도어 취약성이 존재할 수 있는지 조사하는 것.
• 트리거 패tern과 모델 행동을 기반으로 자연스러운 백도어 취약성을 체계적으로 분류하는 것.
• 다양한 모델 아키텍처와 데이터셋에 걸쳐 자연스러운 백도어를 식별할 수 있는 일반적인 탐지 프레임워크를 개발하는 것.
• 모델 하드닝 기법이 자연스러운 백도어를 완화하는 데 효과적인지 평가하는 것.
• 기존의 백도어 탐지 및 방어 방법이 자연적으로 발생하는 취약성에 대해 효과가 없음을 보여주는 것.

제안 방법

• 기존에 발표된 20종류의 인젝션된 백도어 공격을 템플릿으로 활용해, 정제된 모델 내 자연스러운 백도어 대응을 탐색하는 데 사용하였다.
• 트리거 생성 기법인 GenL0(패치 기반 트리거용)과 FeatureL2(동적/특성 기반 트리거용)를 사용한 일반적인 탐지 프레임워크를 제안하여 자연스러운 백도어를 식별하였다.
• 공개 리포지터리에서 확보한 56개의 사전 훈련된 모델을 대상으로 체계적인 실험을 수행하여 다양한 아키텍처와 데이터셋에서 자연스러운 백도어를 탐지하였다.
• 탐지 프레임워크에서 생성한 트리거를 사용해 재훈련함으로써 모델 하드닝을 평가하였으며, Moth를 기본 하드닝 프레임워크로 사용하였다.
• 트리거 특성과 모델 행동을 기반으로 자연스러운 백도어를 네 가지 클래스로 분류하여, 타겟팅된 방어 전략을 가능하게 하였다.
• 탐지 및 하드닝 성능 평가에 ASR(대역어 성공률)와 정상 정확도를 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 모델과 데이터 아티팩트에 의해 유도되는 자연스러운 백도어 취약성—데이터 오염 없이도 일반적으로 훈련된 딥 러닝 모델에 존재하는가?
• RQ2 이러한 자연스러운 백도어는 다양한 사전 훈련된 모델과 데이터셋에 얼마나 널리 퍼져 있는가?
• RQ3 통합된 탐지 프레임워크는 다양한 유형의 트리거와 모델 아키텍처에 걸쳐 자연스러운 백도어를 식별할 수 있는가?
• RQ4 기존의 백도어 방어 기법(예: 스캐닝, 프루닝)은 자연적으로 발생하는 백도어에 대해 여전히 효과가 있는가?
• RQ5 자연적으로 생성된 트리거를 사용한 모델 하드닝이 다양한 백도어 유형에 걸쳐 취약성을 효과적으로 감소시킬 수 있는가?

주요 결과

• 자연스러운 백도어 취약성은 일반적으로 훈련된 딥 러닝 모델에 널리 존재하며, 56개의 공개 모델에서 총 315개의 이러한 취약성이 탐지되었다.
• 제안된 탐지 프레임워크는 315개의 자연스러운 백도어를 식별했지만, 인젝션된 백도어를 대상으로 한 기존 스캐너는 최대 65개까지만 탐지하였다.
• 클래스 I 패치 백도어의 경우, GenL0로 생성한 트리거를 사용한 하드닝으로 세 개의 네 가지 하위유형에서 취약도 수준이 27% 이하로 감소했으며, 복합 백도어를 제외한 모든 경우에 효과적이었다.
• FeatureL2를 통해 생성한 클래스 IV 트리거를 사용한 하드닝은 클래스 IV 백도어의 취약도를 효과적으로 감소시켰지만, 클래스 I에는 제한된 영향을 미쳤으며, 이는 유형별 방어 전략의 필요성을 확인한다.
• 하드닝 이후 모델 정확도는 2% 이내로 감소하여, 트리거 기반 재훈련을 통한 방어가 실세계 구현에 실용적이고 타당함을 시사한다.
• 본 연구는 기존의 백도어 방어 기법이 자연스러운 백도어에 대해 대부분 효과가 없음을 드러내며, 딥 러닝 보안 분야에 새로운 핵심 위협 표면을 제기한다.