[논문 리뷰] Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks

Kang Liu, Brendan Dolan-Gavitt외 1명|arXiv (Cornell University)|2018. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 38

한 줄 요약

이 논문은 구조적 프루닝과 파인튜닝을 조합한 미세프루닝(fine-pruning)을 제안하여 딥 네ural 네트워크에서 백도어 공격을 중립화한다. 부득이한 뉴런을 프루닝하고 정제된 데이터로 재학습함으로써, 정상 입력에 대한 정확도가 0.4% 감소하는 데 그치면서도 백도어 공격 성공률을 0%로 낮춘다. 이는 단독으로 프루닝 또는 파인튜닝을 사용하는 것보다 우수한 성능을 발휘한다.

ABSTRACT

Deep neural networks (DNNs) provide excellent performance across a wide range of classification tasks, but their training requires high computational resources and is often outsourced to third parties. Recent work has shown that outsourced training introduces the risk that a malicious trainer will return a backdoored DNN that behaves normally on most inputs but causes targeted misclassifications or degrades the accuracy of the network when a trigger known only to the attacker is present. In this paper, we provide the first effective defenses against backdoor attacks on DNNs. We implement three backdoor attacks from prior work and use them to investigate two promising defenses, pruning and fine-tuning. We show that neither, by itself, is sufficient to defend against sophisticated attackers. We then evaluate fine-pruning, a combination of pruning and fine-tuning, and show that it successfully weakens or even eliminates the backdoors, i.e., in some cases reducing the attack success rate to 0% with only a 0.4% drop in accuracy for clean (non-triggering) inputs. Our work provides the first step toward defenses against backdoor attacks in deep neural networks.

연구 동기 및 목표

• 외주화된 딥 러닝 환경에서 악성 트레이너가 숨겨진 트리거를 삽입하여 모델 동작을 조작하는 백도어 공격의 증가하는 위협을 해결한다.
• 프루닝과 파인튜닝—두 가지 직관적인 방어 방법이 실제 DNN에서 백도어 공격을 효과적으로 완화할 수 있는지 조사한다.
• 기존 방어 수단의 강건성을 시험하기 위해 프루닝에 대한 인지가 있는 더 강력한 백도어 공격을 설계한다.
• 프루닝과 파인튜닝을 조합한 새로운 효과적인 방어 전략인 미세프루닝을 제안하고 평가한다.
• 딥 네ural 네트워크에서의 백도어 공격에 대한 공격자-방어자 상호작용을 처음으로 체계적으로 분석한다.

제안 방법

• 실제 데이터셋을 사용하여 교통 표지 인식, 음성 인식, 얼굴 인식 분야에서 기존의 세 가지 백도어 공격을 재현한다.
• 정상 입력에서 활성도가 낮은 뉴런을 제거하기 위해 구조적 프루닝을 적용하여, 여분의 능력을 제거함으로써 백도어 기능을 비활성화한다.
• 청결 및 백도어 동작이 동일한 뉴런에 집중되는 프루닝 인지 백도어 공격을 개발하여, 프루닝에 의해 탐지되는 것을 회피한다.
• 모델을 먼저 프루닝한 후, 정제된 보류된 데이터셋으로 파인튜닝하여 정확도를 복원하고 백도어 행동을 추가로 억제함으로써, 미세프루닝을 구현한다.
• 방어 수단의 효과를 평가하기 위해 정상 입력에서의 정확도와 공격 성공률을 병합한 평가 지표를 사용한다.
• 결과의 일반화를 확보하기 위해 다양한 아키텍처와 데이터셋을 대상으로 방어 수단을 평가한다.

실험 결과

연구 질문

• RQ1 구조적 프루닝만으로도 딥 네럴 네트워크에서 백도어 공격을 효과적으로 방어할 수 있는가?
• RQ2 파인튜닝만으로도 정교한 백도어 공격에 충분한 보호를 제공할 수 있는가?
• RQ3 청결 및 악성 동작이 동일한 뉴런을 대상으로 하는 프루닝 인지 백도어 공격은 표준 프루닝 방어 수단을 어떻게 회피하는가?
• RQ4 프루닝과 파인튜닝을 조합한 방식—즉, 미세프루닝을 통해 기존 방어 수단보다 백도어 공격에 대해 훨씬 더 강건한 성능을 달성할 수 있는가?
• RQ5 미세프루닝은 정상 입력에서의 정확도를 유지하면서 백도어 기능을 얼마나 효과적으로 제거할 수 있는가?

주요 결과

• 프루닝 전용은 프루닝 인지 백도어 공격에 효과적이지 않다. 이 공격은 청결 및 백도어 동작을 동일한 뉴런에 집중시키므로, 뉴런 제거에 강건하다.
• 파인튜닝 전용은 부분적인 보호만 제공한다. 백도어가 악용하는 기본적인 구조적 취약성을 제거하지 않기 때문이다.
• 미세프루닝은 평가된 모든 백도어 공격에서 공격 성공률을 0%로 낮춰 악성 기능을 효과적으로 무력화한다.
• 정상 입력에서의 정확도 감소는 극히 미미하여, 미세프루닝 후에 단지 0.4%에 그친다. 이는 강력한 실용적 타당성을 보여준다.
• 이 방어 수단은 교통 표지 인식, 음성 인식, 얼굴 인식 등 다양한 작업에서 효과적이며, 광범위한 적용 가능성을 시사한다.
• 미세프루닝은 딥 네럴 네트워크에서 백도어 공격에 대한 첫 번째 효과적인 방어 수단이며, 이전의 방법들을 초월하여 외주화된 학습 환경에서의 강건성 기준을 설정한다.