[논문 리뷰] Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective

Yi Zeng, Won Park외 2명|arXiv (Cornell University)|2021. 04. 07.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 15

한 줄 요약

이 논문은 기존 딥러닝에서의 백도어 트리거가 다양한 데이터셋과 해상도에서 심각한 고주파 아티팩트를 보이며, 주파수 도메인 분석을 통해 98.5%의 정확도로 탐지 가능하다고 밝힌다. 주어진 공격 성능을 유지하면서 고주파 아티팩트가 없는 매끄러운 트리거를 생성하기 위해 이중 최적화 기반 방법을 제안하며, 이러한 주파수 기반으로 탐지되지 않는 트리거를 방어 설계에 통합함으로써 방어의 강건성을 크게 향상시킬 수 있음을 시연한다.

ABSTRACT

Backdoor attacks have been considered a severe security threat to deep learning. Such attacks can make models perform abnormally on inputs with predefined triggers and still retain state-of-the-art performance on clean data. While backdoor attacks have been thoroughly investigated in the image domain from both attackers' and defenders' sides, an analysis in the frequency domain has been missing thus far. This paper first revisits existing backdoor triggers from a frequency perspective and performs a comprehensive analysis. Our results show that many current backdoor attacks exhibit severe high-frequency artifacts, which persist across different datasets and resolutions. We further demonstrate these high-frequency artifacts enable a simple way to detect existing backdoor triggers at a detection rate of 98.50% without prior knowledge of the attack details and the target model. Acknowledging previous attacks' weaknesses, we propose a practical way to create smooth backdoor triggers without high-frequency artifacts and study their detectability. We show that existing defense works can benefit by incorporating these smooth triggers into their design consideration. Moreover, we show that the detector tuned over stronger smooth triggers can generalize well to unseen weak smooth triggers. In short, our work emphasizes the importance of considering frequency analysis when designing both backdoor attacks and defenses in deep learning.

연구 동기 및 목표

• 다양한 데이터셋과 해상도에서 기존 백도어 트리거의 주파수 도메인 특성을 조사하기 위해.
• 현재 백도어 트리거에서 고주파 아티팩트가 발생하는 근본 원인과 탐지 가능성에 미치는 영향을 규명하기 위해.
• 고주파 아티팩트가 없는 매끄러운 백도어 트리거를 생성하여 공격 성공률을 유지하기 위해.
• 다양한 방어 기법에 대해 매끄러운 트리거의 일반화 능력과 탐지 가능성 평가하기 위해.
• 기존 방어 기법에 주파수 기반으로 탐지되지 않는 트리거를 통합함으로써 훈련 및 탐지 파이프라인을 개선하는 방법을 시연하기 위해.

제안 방법

• 다양한 데이터셋과 해상도에서 푸리에 변환을 사용해 기존 백도어 트리거의 종합적인 주파수 도메인 분석을 수행하기 위해.
• 스텔스성과 공격 성능의 균형을 고려해 매끄러운 트리거 생성 문제를 이중 최적화 문제로 수식화하기 위해.
• 이중 최적화 문제를 해결하기 위한 실용적인 히우리스틱 알고리즘을 제안하고, 고주파 성분을 최소화하는 매끄러운 트리거를 생성하기 위해.
• 공격 유형이나 모델에 대한 사전 지식 없이도 주파수 기반 탐지 파이프라인을 설계하기 위해 지도 학습과 데이터 증강을 활용하기 위해.
• 매끄러운 트리거로 탐지기구를 미세조정하여, 예측되지 않은 저통과 필터링된 트리거로의 일반화 능력을 향상시키고, 다양한 트리거 유형에 대해 탐지 성능 평가하기 위해.
• 메타 신경 분석(MNA)과 같은 방어 기법에 대해 제안된 매끄러운 트리거를 통합함으로써 성능 향상을 평가하기 위해 분석 실험을 수행하기 위해.

실험 결과

연구 질문

• RQ1 기존 백도어 트리거는 다양한 데이터셋과 이미지 해상도에서 일관되게 고주파 아티팩트를 보이는가?
• RQ2 현재 백도어 트리거 생성 방법에서 고주파 아티팩트가 발생하는 근본 원인은 무엇인가?
• RQ3 고주파 성분을 제거하면서도 높은 공격 성공률을 유지하는 매끄러운 백도어 트리거를 생성할 수 있는가?
• RQ4 공격 유형이나 모델에 대한 사전 지식 없이도 주파수 도메인 기반 탐지가 기존 트리거를 효과적으로 식별할 수 있는가?
• RQ5 훈련 및 탐지 프로세스에 매끄러운 트리거를 통합함으로써 기존 방어 기법의 강건성을 향상시킬 수 있는가?

주요 결과

• 기존 백도어 트리거는 여러 데이터셋과 해상도에서 일관되게 심각한 고주파 아티팩트를 보이며, 주파수 분석을 통해 탐지 가능하다.
• 공격 유형이나 모델에 대한 사전 지식 없이도 주파수 기반 탐지 파이프라인은 기존 트리거에 대해 98.50%의 탐지율을 기록한다.
• 고주파 아티팩트의 원인은 트리거 패턴 자체와 트리거 생성 과정에서 사용하는 삽입 방법 모두에 기인한다.
• 제안된 이중 최적화 기반 방법은 고주파 성분을 제거하면서도 높은 공격 성공률을 유지하는 매끄러운 트리거를 생성한다.
• 매끄러운 트리거로 미세조정된 탐지기구는 예측되지 않은 저통과 필터링된 트리거로의 일반화 능력이 뛰어나며, 다양한 트리거 유형에 대해 평균 89.37%의 탐지 정확도를 달성한다.
• MNA와 같은 방어 기법에 매끄러운 트리거를 통합함으로써 AUC 점수를 0.0776에서 0.694로 향상시키고, 탐지 정확도를 42.85%로 끌어올려 강건성이 향상됨을 입증한다.