[논문 리뷰] Backdoor Scanning for Deep Neural Networks through K-Arm Optimization

Guangyu Shen, Yingqi Liu외 6명|arXiv (Cornell University)|2021. 02. 09.

Adversarial Robustness in Machine Learning참고 문헌 59인용 수 29

한 줄 요약

논문은 다중 팔 밴딧 전략을 사용하여 DNN의 백도어를 효율적으로 식별하는 K-Arm 백도어 스캐너를 소개하며 TrojAI에서 최상위 성능을 달성하고 최첨단 방법들보다 더 빠른 스캐닝 속도를 제공합니다.

ABSTRACT

Back-door attack poses a severe threat to deep learning systems. It injects hidden malicious behaviors to a model such that any input stamped with a special pattern can trigger such behaviors. Detecting back-door is hence of pressing need. Many existing defense techniques use optimization to generate the smallest input pattern that forces the model to misclassify a set of benign inputs injected with the pattern to a target label. However, the complexity is quadratic to the number of class labels such that they can hardly handle models with many classes. Inspired by Multi-Arm Bandit in Reinforcement Learning, we propose a K-Arm optimization method for backdoor detection. By iteratively and stochastically selecting the most promising labels for optimization with the guidance of an objective function, we substantially reduce the complexity, allowing to handle models with many classes. Moreover, by iteratively refining the selection of labels to optimize, it substantially mitigates the uncertainty in choosing the right labels, improving detection accuracy. At the time of submission, the evaluation of our method on over 4000 models in the IARPA TrojAI competition from round 1 to the latest round 4 achieves top performance on the leaderboard. Our technique also supersedes three state-of-the-art techniques in terms of accuracy and the scanning time needed.

연구 동기 및 목표

• 깊은 신경망의 백도어에 대한 강력한 탐지를 유도하여 DL 시스템을 보호합니다.
• 다수의 클래스와 라벨-페어에 걸친 스캔의 계산 복잡성을 줄입니다.
• 트리거를 구분하는 동안 실제 백도어를 식별하고 자연 특징을 구분하는 확률적, 라운드 기반 최적화 프레임워크를 개발합니다.
• 대규모 TrojAI 데이터셋 및 ImageNet 모델에서의 확장성과 효과를 입증합니다.

제안 방법

• 백도어 스캐닝을 K-Arm 최적화 문제로 형식화하고 K 팔은 대상 라벨(및 보편적 대 라벨-특정 백도어의 경우 라벨-페어)을 나타냅니다.
• 트리거 최적화기를 사용하여 패턴 P와 마스크 M을 통해 패턴을 찍고 min_P,M L(t,F((1−M)·X+M·P)) + α||M||1 를 최적화하며 성공 조건 Acc(Ẋ,t) ≥ θ 및 ||M||1 < 이전 ||M||1를 만족합니다.
• 탐색과 활용의 균형을 맞추기 위해 ε-탐욕적 K-Arm 스케줄러를 사용하고 트리거 크기 감소율과 현재 트리거 크기를 기반으로 목적 함수 A(l)을 정의합니다.
• 충분히 유망한 라벨을 로짓 통계치를 통해 선별하여 팔 세트를 줄이는 사전 선별을 포함합니다.
• 대칭적 최적화를 통해 피해자→대상과 대상→피해자 간의 최적화 방향을 비교하여 자연 특징과 실제 백도어를 구별하는 스케줄러를 확장합니다.
• TrojanAI 라운드 1–4 및 ImageNet에서의 이론적 분석과 실험적 검증을 제공합니다.

실험 결과

연구 질문

• RQ1 다수의 클래스로 구성된 모델에서 모든 라벨 쌍을 exhaustively 스캔하지 않고도 K-Arm 밴딧 접근법으로 백도어를 효율적으로 식별할 수 있는가?
• RQ2 확률적이고 라운드 기반의 라벨 선택이 NC, ABS와 같은 기존 방법에 비해 탐지 정확도를 향상시키고 스캔 시간을 줄이는가?
• RQ3 실제 데이터셋에서 대칭성 고려가 자연 특징과 실제 백도어 트리거를 얼마나 효과적으로 구분하는가?
• RQ4 대규모 TrojAI 라운드와 ImageNet 모델에서의 정확도와 시간 측면의 실험적 이득은 무엇인가?

주요 결과

• TrojAI 리더보드의 라운드 1–4에서 NC, ABS, ULP를 능가하는 최고 성능을 달성합니다.
• 스캐닝 시간을 크게 단축하고 최적화 기반 기준선보다 현저히 우수한 성능을 보이며(정확도에서 예: 31% vs NC, 20% vs ABS, 27% vs ULP) 향상된 효율성을 나타냅니다.
• 사전 선별을 통해 팔 공간을 줄이면서도 탐지 정확도를 손실 없이 다수의 클래스가 있는 모델을 처리합니다.
• 대칭적 최적화와 방향성 분석을 통해 자연 특징과 백도어 트리거를 효과적으로 구분합니다.
• ImageNet 및 기타 데이터셋에서 런타임을 크게 줄이면서도 탐지 효율성을 유지하는 강력한 결과를 보입니다.