[논문 리뷰] Deep Probabilistic Models to Detect Data Poisoning Attacks

Mahesh Subedar, Nilesh Ahuja외 3명|arXiv (Cornell University)|2019. 12. 03.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 6

한 줄 요약

이 논문은 딥 신경망에서 백도어 데이터 풀링 공격을 탐지하기 위해 두 가지 불확실성 기반 방법을 제안한다: (1) 입력 불확실성을 추정하기 위해 파라미터 추정 분포를 사용한 딥 특징의 확률 모델링, 그리고 (2) 평균장 변분 추론을 사용한 베이지안 신경망을 통한 모델 불확실성 추정. 딥 특징 접근법은 오염된 샘플을 탐지할 때 높은 AUPR(최대 99.96)를 달성하지만, 베이지안 네트워크는 오염된 데이터로 훈련된 경우 성능이 떨어지며, 이는 불확실성 기반 탐지에 대해 청소된 검증 데이터의 중요성을 강조한다.

ABSTRACT

Data poisoning attacks compromise the integrity of machine-learning models by introducing malicious training samples to influence the results during test time. In this work, we investigate backdoor data poisoning attack on deep neural networks (DNNs) by inserting a backdoor pattern in the training images. The resulting attack will misclassify poisoned test samples while maintaining high accuracies for the clean test-set. We present two approaches for detection of such poisoned samples by quantifying the uncertainty estimates associated with the trained models. In the first approach, we model the outputs of the various layers (deep features) with parametric probability distributions learnt from the clean held-out dataset. At inference, the likelihoods of deep features w.r.t these distributions are calculated to derive uncertainty estimates. In the second approach, we use Bayesian deep neural networks trained with mean-field variational inference to estimate model uncertainty associated with the predictions. The uncertainty estimates from these methods are used to discriminate clean from the poisoned samples.

연구 동기 및 목표

• 청결한 정확도를 떨어뜨리지 않으면서 모델의 무결성을 해칠 수 있는 데이터 풀링 공격의 위협을 다루기 위해.
• 추론 중에 오염된 입력을 식별하는 불확실성 기반 탐지 기반을 개발하기 위해.
• 딥 특징에서 유도된 불확실성 추정 또는 베이지안 신경망에서 유도된 불확실성 추정이 오염된 샘플과 청결한 샘플을 효과적으로 구분할 수 있는지 평가하기 위해.
• 다양한 오염 비율과 데이터셋 특성 하에서 불확실성 추정의 강건성을 조사하기 위해.

제안 방법

• 청결한 검증 데이터에서 추출한 딥 특징에 대해 파라미터 추정 확률 분포(예: 정규분포)를 적합하여 특징 공간의 분포를 모델링한다.
• 추론 시, 테스트 샘플의 특징에 대해 적합된 분포에 대한 로그우도 점수를 계산한다; 낮은 점수는 높은 이질성 가능성과 관련된다.
• 평균장 변분 추론을 사용하여 베이지안 신경망을 훈련하여 네트워크 가중치에 대한 사후분포를 근사한다.
• BALD(Bayesian Active Learning by Disagreement)를 통해 모델 불확실성을 추정한다; 이는 가중치 사후분포와 예측 분포 간의 상호정보량을 측정한다.
• 불확실성 점수를 분류 신호로 사용한다: 오염된 샘플에 대해 높은 불확실성, 청결한 샘플에 대해 낮은 불확실성.
• 청결한 샘플과 오염된 샘플 간의 이진 분류 설정에서 AUPR을 사용하여 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 특징 분포에서 유도된 불확실성 추정이 DNN에서 백도어로 오염된 입력을 효과적으로 탐지할 수 있는가?
• RQ2 베이지안 신경망에서 유도된 모델 불확실성과 특징 수준의 불확실성은 데이터 풀링 공격 탐지에서 어떻게 비교되는가?
• RQ3 훈련 데이터의 오염 비율이 증가함에 따라 불확실성 기반 탐지 성능이 떨어지는가?
• RQ4 오염된 데이터로 훈련된 모델이 여전히 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ5 특징 수준과 모델 수준의 불확실성 추정을 조합하면 개별적으로 사용할 때보다 더 효과적인가?

주요 결과

• 딥특징(DF) 방법은 MNIST에서 오염된 샘플을 탐지할 때 최대 AUPR 99.96, CIFAR-10에서는 91.87을 기록하여 결정론적 DNN보다 뚜렷이 뛰어난 성능을 보였다.
• MNIST에서 DF 방법은 50% 오염 비율일 때 오염된 샘플에 대한 분류 정확도를 최소 7.32%까지 낮추었으며, 이는 강력한 탐지 능력을 시사한다.
• 오염된 데이터로 훈련된 베이지안 신경망(BNNs)은 청결한 데이터셋과 오염된 데이터셋 모두에서 90% 이상의 정확도를 유지했으며, 이는 오염된 분포에 맞춰 모델이 적합되어 탐지 성능이 떨어지는 것을 의미한다.
• BNNs는 낮은 오염 비율에서 더 나은 탐지 성능(예: MNIST에서 10% 오염 비율일 때 AUPR 97.47%)을 보였지만, 오염 비율이 증가함에 따라 성능이 저하되었다.
• DF 방법은 오염 비율에 관계없이 안정적인 성능을 유지했다. 이는 오직 청결한 데이터만을 사용해 특징 분포를 적합하기 때문이며, 이는 이질성 탐지의 안정적인 기준이 되었다.
• 결과는 청결한 데이터에 기반한 특징 모델링에서 유도된 불확실성 추정이 오염된 데이터로 훈련된 모델에서 유도된 것보다 더 효과적임을 보여주며, 탐지에 있어 청결한 검증 데이터의 필요성을 강조한다.