[논문 리뷰] Exposing Backdoors in Robust Machine Learning Models.

Ezekiel Soremekun, Sakshi Udeshi외 2명|arXiv (Cornell University)|2020. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 16

한 줄 요약

이 논문은 적대적 방어 기반 딥 네ural 네트워크(DNN)가 특징 표현에서 드러나는 백도어 공격에 취약하다는 것을 입증한다. 저자는 특징 클러스터링을 활용한 AEGIS를 제안하여, 타깃 클래스 탐지에 대해 91.6%의 정확도와 11.1%의 위양성률을 기록한 백도어 감염 모델을 탐지한다.

ABSTRACT

The introduction of robust optimisation has pushed the state-of-the-art in defending against adversarial attacks. However, the behaviour of such optimisation has not been studied in the light of a fundamentally different class of attacks called backdoors. In this paper, we demonstrate that adversarially robust models are susceptible to backdoor attacks. Subsequently, we observe that backdoors are reflected in the feature representation of such models. Then, this observation is leveraged to detect backdoor-infected models via a detection technique called AEGIS. Specifically, AEGIS uses feature clustering to effectively detect backdoor-infected robust Deep Neural Networks (DNNs). In our evaluation of several visible and hidden backdoor triggers on major classification tasks using CIFAR-10, MNIST and FMNIST datasets, AEGIS effectively detects robust DNNs infected with backdoors. AEGIS detects a backdoor-infected model with 91.6% accuracy, without any false positives. Furthermore, AEGIS detects the targeted class in the backdoor-infected model with a reasonably low (11.1%) false positive rate. Our investigation reveals that salient features of adversarially robust DNNs break the stealthy nature of backdoor attacks.

연구 동기 및 목표

• 적대적 예측에 강건한 DNN가 방어 메커니즘을 갖추고 있음에도 불구하고 백도어 공격에 취약한가를 조사하는 것.
• 백도어 트리거가 강건한 모델의 내부 특징 표현에 미치는 영향을 분석하는 것.
• 훈련 데이터나 레이블에 접근할 필요 없이 백도어로 감염된 강건한 DNN를 식별할 수 있는 탐지 방법을 개발하는 것.
• 다양한 데이터셋과 백도어 트리거 유형에서 제안된 탐지 기법의 효과성을 평가하는 것.

제안 방법

• 저자는 백도어 오염의 징후가 되는 패tern을 식별하기 위해 적대적으로 강건한 DNN의 특징 표현을 분석한다.
• AEGIS는 백도어 트리거에 해당하는 특징 공간의 이질성을 탐지하기 위해 특징 클러스터링을 활용한다.
• 이 방법은 백도어 트리거가 강건한 모델의 특징의 중요도와 분포를 방해한다는 관찰에 기반한다.
• 훈련 데이터나 모델 가중치에 의존하지 않고 추론 시점의 특징만을 사용해 탐지가 수행된다.
• 정상 입력과 트리거가 삽입된 입력에 대한 특징 표현에서의 클러스터링 이탈 정도를 측정함으로써 백도어로 감염된 모델을 식별한다.
• 특정 클래스와 관련된 클러스터 이동을 분석함으로써 타깃 클래스 예측을 유추한다.

실험 결과

연구 질문

• RQ1 적대적으로 강건한 DNN는 적대적 예측에 강건함에도 불구하고 백도어 공격에 취약한가?
• RQ2 백도어 트리거는 강건한 DNN의 특징 표현을 어떻게 변화시키는가?
• RQ3 훈련 데이터나 레이블에 접근할 수 없이도 강건한 모델의 백도어 감염을 탐지할 수 있는가?
• RQ4 AEGIS의 탐지 정확도와 위양성률은 다양한 데이터셋과 트리거 유형에서 어떻게 나타나는가?

주요 결과

• 적대적으로 강건한 DNN는 적대적 편향에 강건함에도 불구하고 백도어 공격에 취약하여, 그 정합성을 해칠 수 있다.
• 백도어 트리거는 강건한 모델의 특징 표현에 확인 가능한 인상을 남기며, 이는 도청의 은밀함을 해친다.
• AEGIS는 91.6%의 정확도로 백도어로 감염된 모델을 탐지하여 악성 모델 식별에 높은 신뢰성을 보여준다.
• 백도어로 감염된 모델에서 타깃 클래스를 예측할 때 AEGIS는 11.1%의 위양성률을 기록한다.
• CIFAR-10, MNIST, FMNIST를 포함한 여러 데이터셋에서 탐지 성능이 일관되게 유지된다.
• 본 연구는 강건한 모델의 주요 특징이 백도어로 인해 방해받으며, 이는 클러스터링 분석을 통한 효과적인 탐지 가능성을 드러낸다.