[논문 리뷰] Deep Learning Backdoors

Shaofeng Li, Shiqing Ma외 2명|arXiv (Cornell University)|2020. 07. 16.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 딥 뉴럴 네트워크에서 악성 공격자가 학습 중에 숨겨진 트리거를 주입하여 특정 조건 하에서 예측을 조작하는 백도어 공격을 조사한다. 위협 모델, BadNets와 같은 공격 기법, 워터마킹 및 적대적 예외 탐지와 같은 방어 기법을 조사하며, 은밀성, 지속성, 적응 가능성의 과제를 강조한다.

ABSTRACT

Intuitively, a backdoor attack against Deep Neural Networks (DNNs) is to inject hidden malicious behaviors into DNNs such that the backdoor model behaves legitimately for benign inputs, yet invokes a predefined malicious behavior when its input contains a malicious trigger. The trigger can take a plethora of forms, including a special object present in the image (e.g., a yellow pad), a shape filled with custom textures (e.g., logos with particular colors) or even image-wide stylizations with special filters (e.g., images altered by Nashville or Gotham filters). These filters can be applied to the original image by replacing or perturbing a set of image pixels.

연구 동기 및 목표

• 머신 러닝 as a service (MLaaS) 및 사전 학습된 모델 배포의 맥락에서 딥 뉴럴 네트워크의 백도어 공격 위협을 분석하기.
• 백도어 공격의 타당성과 은밀성을 다양한 위협 모델(화이트박스, GRAYBOX, 블랙박스 설정)에서 조사하기.
• 전이 학습 및 미세조정을 통한 백도어의 내성 평가를 통해 지속성에 대한 한계를 규명하기.
• 워터마킹 및 적대적 예외 탐지와 같은 방어 수단을 탐색하여 백도어 위협을 탐지하고 완화하기.
• 실제 AI 배포 환경에서 은밀하고 지속적이며 적응 가능한 백도어 공격 및 방어를 만들기 위한 열린 과제를 규명하기.

제안 방법

• 정상 모델을 트리거 생성기(양호 입력을 악성 입력으로 매핑하는)를 사용해 백도어 모델로 변환하는 백도어 공격의 공식 정의를 제안한다.
• 화이트박스 방법의 대표주체인 BadNets 공격을 도입: 양호한 이미지에 눈에 띄는 트리거(예: 색상 패치)를 추가하고 타겟 클래스로 다시 레이블링하여 학습 데이터를 오염시킨다.
• 유일무결성 있는 필터(wonder filter W)를 모델에 통합하여 워터마킹 기법을 적용함으로써, 레이블 일관성 검증을 통한 백도어 모델 탐지가 가능하도록 한다.
• 결정 경계 변형 분석을 통해 트리거가 생성한 단순 경로를 식별함으로써 백도어를 탐지한다. 이러한 경로는 적대적 공격 탐지에 활용될 수 있다.
• 트리거 패턴(크기, 강도, 위치) 기반의 트랩도어 메커니즘을 활용하여 백도어에 의해 유도된 결정 경계 변화를 이용해 적대적 예외를 탐지하고, 필요시 복구할 수 있다.
• 미세조정 및 전이 학습 하에서 백도어의 강건성을 분석하며, 일부 레이어만 재학습할 경우 많은 백도어가 손상된다는 것을 규명한다.

실험 결과

연구 질문

• RQ1 백도어 공격은 특히 화이트박스, GRAYBOX, 블랙박스 설정에서 어떤 위협 모델 하에서 효과적인가?
• RQ2 공격 성공률과 정확한 레이블 유지와 함께 트리거를 눈에 띄지 않게 만들 수 있는가?
• RQ3 실제 배포 파이프라인에서 백도어는 미세조정 및 전이 학습 동안 얼마나 오래 지속되는가?
• RQ4 워터마킹 기법은 거짓 긍정 없이 신뢰성 있게 백도어 모델을 탐지하고 무결성을 보장할 수 있는가?
• RQ5 백도어에 의해 유도된 결정 경계 변형은 어떻게 활용하여 적대적 공격을 탐지하고 방어할 수 있는가?

주요 결과

• BadNets와 같은 백도어 공격은 최소한의 데이터 오염으로도 높은 성공률(예: 단일 픽셀 트리거로 MNIST에서 100%)을 기록한다.
• 와이어드 필터 W를 통한 워터마킹은 신뢰성, 거짓 긍정 없음, 무결성 보장, 지속성 확보를 제공하며, W 적용 시에만 대부분의 레이블이 정확하게 일치함을 검증한다.
• 백도어는 종종 미세조정 과정에서 손상되며, 특히 몇 개의 레이어만 업데이트될 경우 지속성이 떨어져 전이 학습 환경에서의 실용성에 제한을 받는다.
• 백도어에 의해 유도된 결정 경계 변형은 탐지 가능한 단순 경로를 생성하며, 이를 활용해 적대적 예외를 탐지하고 트랩도어 기반 탐지 메커니즘을 구현할 수 있다.
• 기존의 공격 및 방어 수단은 종종 적응 가능한 적대자에 대응하지 못하므로, 실세계 AI 보안에서 동적이고 대응 가능한 전략이 필요하다는 점을 시사한다.
• 불투명한 트리거와 깨끗한 레이블을 동시에 구현하는 것은 여전히 주요 과제이며, 대부분의 방법은 트리거를 눈에 띄게 하거나 레이블 무결성을 훼손한다.