[논문 리뷰] Imperceptible Backdoor Attack: From Input Space to Feature Representation

Nan Zhong, Zhenxing Qian외 1명|arXiv (Cornell University)|2022. 05. 06.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 각 입력에 맞게 조정된 파rameter를 가진 다항분포에서 샘플링하는 U-Net 기반 생성기로 이미지별 트리거를 생성하는 새로운 인식 불가능한 백도어 공격을 제안한다. 유해 및 정상 입력 간의 특징 표현을 얽히게 하여, 인간의 검사, 통계적 검출(예: FTD), 모델 진단 방어 기법(예: Neural Cleanse 및 Network Pruning)을 회피한다. 전체 픽셀의 1% 미만이 수정되며, 그 크기는 ≤1인 상태에서 공격 성공률이 97% 이상을 기록한다.

ABSTRACT

Backdoor attacks are rapidly emerging threats to deep neural networks (DNNs). In the backdoor attack scenario, attackers usually implant the backdoor into the target model by manipulating the training dataset or training process. Then, the compromised model behaves normally for benign input yet makes mistakes when the pre-defined trigger appears. In this paper, we analyze the drawbacks of existing attack approaches and propose a novel imperceptible backdoor attack. We treat the trigger pattern as a special kind of noise following a multinomial distribution. A U-net-based network is employed to generate concrete parameters of multinomial distribution for each benign input. This elaborated trigger ensures that our approach is invisible to both humans and statistical detection. Besides the design of the trigger, we also consider the robustness of our approach against model diagnose-based defences. We force the feature representation of malicious input stamped with the trigger to be entangled with the benign one. We demonstrate the effectiveness and robustness against multiple state-of-the-art defences through extensive datasets and networks. Our trigger only modifies less than 1\% pixels of a benign image while the modification magnitude is 1. Our source code is available at https://github.com/Ekko-zn/IJCAI2022-Backdoor.

연구 동기 및 목표

• 기존 백도어 공격가 통계적 방법과 모델 진단 기법에 의해 감지되는 데에 기인한 한계를 해결하기 위해.
• 시각적 및 통계적으로 인식 불가능한 트리거를 설계하여 인간이 보이지 않으며, 감지에 저항하는 성질을 확보하기 위해.
• 악성 및 정상 입력의 특징 표현을 얽힘 정규화를 통해 동일하게 만들어, 최신 방어 기법에 대한 강건성을 향상시키기 위해.
• 다양한 데이터셋과 딥 러닝 아키텍처에서 공격의 효과성과 스텔스성을 입증하기 위해.

제안 방법

• 트리거는 +1, -1, 0의 세 가지 값을 가지는 다항분포로 모델링되며, 각 정상 입력 이미지에 조건부로 설정된 U-Net 기반 네트워크에 의해 확률이 생성된다.
• 다양한 손실 함수는 트리거 생성기를 최적화하여 공격 손실을 최소화하면서 동시에 수정된 픽셀 수를 최소화한다.
• 네트워크의 마지막에서 두 번째 레이어에서 악성 및 정상 입력의 특징 표현을 정렬하기 위해 얽힘 정규화를 도입한다.
• 이 방법은 트리거가 공간적으로 희박(수정된 픽셀 수가 1% 미만)이며, 크기가 최소한(주로 ±1)이 되도록 하여 시각적 및 통계적 스텔스성을 향상시킨다.
• 분류를 위한 표준 크로스 엔트로피 손실과 특징 얽힘을 강제하는 정규화 항을 포함하여, 전체적으로 엔드 투 엔드로 훈련된다.
• FTD, Neural Cleanse, Network Pruning 등의 다양한 방어 기법에 대해 공격을 평가한다.

실험 결과

연구 질문

• RQ1 주파수 도메인 분석에 의해 통계적으로 감지되지 않으며, 동시에 시각적으로 인식 불가능한 백도어 트리거를 생성할 수 있는가?
• RQ2 정상 및 악성 입력 간의 특징 표현 얽힘은 Neural Cleanse 및 Network Pruning과 같은 모델 진단 기반 방어 기법에 얼마나 잘 저항하는가?
• RQ3 공격 성공률 및 스텔스성 측면에서 최신의 비가시 백도어 공격(예: ISSBA)과 비교해 본다면, 제안된 방법은 어떤가?
• RQ4 초기화 파rameter α(얽힘 강도)와 β(픽셀 수정 페널티)가 공격 성능 및 강건성에 어떤 영향을 미치는가?

주요 결과

• GTSRB에서 공격 성공률이 97.87%에 달했고, CelebA에서는 99.27%를 기록했으며, 수정된 픽셀의 99% 이상이 크기 0 또는 1이었다.
• FTD 트리거 감지 방법은 악성 샘플의 50%만 감지했고, 이는 무작위 추측 수준과 동일하여, 최소한이면서 희박한 트리거 수정 덕분에 성공적으로 회피했다.
• Neural Cleanse는 악성 모델을 식별하지 못했으며, 이상 지수 값이 2 이하로 유지되어 명백한 트리거 패턴이 없음을 시사했다.
• Network Pruning는 정상 이미지의 정확도가 크게 떨어지지 않는 한에서만 백도어를 효과적으로 제거하지 못했고, 이는 악성 및 정상 특징 표현이 얽혀 있었기 때문이다.
• 절단 실험을 통해 얽힘 정규화를 제거하면 정상 및 악성 특징의 분리 가능성이 회복되어, 프루닝 기반 방어에 취약해짐을 확인했다.
• β를 너무 낮게 설정하면(예: 0), 픽셀 수정 수가 근처 50%에 이르게 되어 FTD에 의해 감지 가능성 증가; 반면 높은 β 값은 모델 수렴을 방해했다.