[논문 리뷰] EX-RAY: Distinguishing Injected Backdoor from Natural Features in Neural Networks by Examining Differential Feature Symmetry

Yingqi Liu, Guangyu Shen외 4명|arXiv (Cornell University)|2021. 03. 16.

Adversarial Robustness in Machine Learning참고 문헌 87인용 수 7

한 줄 요약

EX-RAY는 신경망 내에 삽입된 백도어와 자연적 트리거를 구분하기 위해 대칭적 특성 차이 분석 기법을 제안한다. 이 기법은 피해자 클래스와 타겟 클래스를 분리하는 데 가장 중요한 특성의 최소 집합을 식별함으로써, 백도어 스캐닝에서 거짓 양성률을 78–100% 감소시키며, 거짓 음성률 증가율은 0–30%에 그친다. 이로 인해 전체 정확도가 17–41% 향상되었고, TrojAI 경연 대회에서 최고 성능을 기록하였다.

ABSTRACT

Backdoor attack injects malicious behavior to models such that inputs embedded with triggers are misclassified to a target label desired by the attacker. However, natural features may behave like triggers, causing misclassification once embedded. While they are inevitable, mis-recognizing them as injected triggers causes false warnings in backdoor scanning. A prominent challenge is hence to distinguish natural features and injected backdoors. We develop a novel symmetric feature differencing method that identifies a smallest set of features separating two classes. A backdoor is considered injected if the corresponding trigger consists of features different from the set of features distinguishing the victim and target classes. We evaluate the technique on thousands of models, including both clean and trojaned models, from the TrojAI rounds 2-4 competitions and a number of models on ImageNet. Existing backdoor scanning techniques may produce hundreds of false positives (i.e., clean models recognized as trojaned). Our technique removes 78-100% of the false positives (by a state-of-the-art scanner ABS) with a small increase of false negatives by 0-30%, achieving 17-41% overall accuracy improvement, and facilitates achieving top performance on the leaderboard. It also boosts performance of other scanners. It outperforms false positive removal methods using L2 distance and attribution techniques. We also demonstrate its potential in detecting a number of semantic backdoor attacks.

연구 동기 및 목표

• 신경망 내에서 백도어를 흉내 내는 자연적 클래스 차이(즉, 자연적 트리거)와 실제로 삽입된 백도어를 구분하는 데 도전하는 것.
• 자연적 특성이 삽입된 트리거로 잘못 분류되는 경우에 흔히 발생하는 백도어 스캐닝의 거짓 양성률을 줄이는 것.
• 트리거 크기 가정에 의존하지 않고도 기존 백도어 탐지 기법의 정확도를 향상시킬 수 있는 일반화 가능하고 강력한 방법을 개발하는 것.
• 실제 환경, 특히 TrojAI와 같은 경쟁적 벤치마크에서 높은 성능의 백도어 탐지 기능을 가능하게 하는 것.
• 기존의 작은 국소적 트리거(예: 패치 또는 워터마크)를 초월한 복잡한 의미적 백도어 공격에도 적용 가능한 것

제안 방법

• 이 방법은 신경망 내에서 피해자 클래스와 타겟 클래스를 가장 잘 구분하는 데 필요한 최소 특성 집합을 계산하기 위해 대칭적 특성 차이 분석 기법을 도입한다.
• 특성들이 두 클래스 간 최소 구분 특성 집합과 현著히 다를 경우, 트리거를 삽입된 것으로 정의한다.
• 모델 활성화 패턴을 활용하여 두 클래스를 분리하는 데 가장 중요한 특성 부분집합을 식별하기 위해 특성 중요도 분석을 사용한다.
• 이 기법을 적용하여 트리거가 클래스를 구분하는 특성과 일치하는지(자연적임) 또는 이로부터 벗어나는지(삽입됨)를 평가한다.
• ABS와 같은 기존 스캐너와 통합되어 자연적 트리거로 인한 거짓 양성률을 걸러내는 데 기여한다.
• 트리거 크기나 형태에 의존하지 않아, 고급 공격에서 흔한 큰 크기 또는 의미적 트리거에 대해 강건하다.

실험 결과

연구 질문

• RQ1 특성 기반 대칭 분석이 신경망 내에서 자연적 트리거와 삽입된 백도어를 효과적으로 구분할 수 있는가?
• RQ2 대칭적 특성 차이 분석은 거짓 음성률 증가를 크게 감안할 때 거짓 양성률을 얼마나 줄일 수 있는가?
• RQ3 전통적인 작은 국소적 트리거를 따르지 않는 복잡한 의미적 백도어를 탐지하는 데 이 방법이 얼마나 효과적인가?
• RQ4 ABS와 같은 기존 백도어 탐지 도구의 성능을 TrojAI와 같은 실제 벤치마크에서 향상시킬 수 있는가?
• RQ5 이 방법은 ImageNet을 포함한 다양한 모델 아키텍처와 데이터셋에 대해 일반화 가능한가?

주요 결과

• EX-RAY는 최신 스캐너인 ABS와 함께 사용했을 때 거짓 양성률을 78–100% 감소시켜 탐지 신뢰도를 크게 향상시켰다.
• 백도어 탐지에서 전체 정확도가 17–41% 향상되었으며, 이는 TrojAI 라운드 2 및 4 랭킹에서 최고 성능을 기록한 데 기여했다.
• TrojAI 라운드 3에서 2위를 기록하여 다양한 백도어 유형과 모델 아키텍처에 걸쳐 뛰어난 일반화 능력을 입증했다.
• L2 거리 기반 또는 할당 기반 기법보다도 잘못 탐지되는 경우를 줄이는 데 더 뛰어난 성능을 보였다.
• 반사 및 복합 공격과 같은 복잡한 의미적 백도어를 탐지하는 데도 잠재력이 있었으며, 이는 트리거가 크고 의미적으로 유의미한 경우에도 효과적이었다.
• 모델 복구 실험에서 자연적 트리거는 트리거 크기를 약 34.4% 증가시키는 데 그쳤지만, 삽입된 트리거는 78% 증가시켜 자연적 트리거가 덜 파괴적이며 더 자연스럽게 발생한다는 가설을 뒷받침했다.