[논문 리뷰] Poisoned classifiers are not only backdoored, they are fundamentally broken

Mingjie Sun, Siddhant Agarwal외 1명|arXiv (Cornell University)|2020. 10. 18.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 14

한 줄 요약

이 논문은 원본 트리거 또는 훈련 데이터에 접근할 수 없음에도 불구하고, 오염된 분류기의 효과적인 대체 배경 트리거를 생성하는 인간-중개 공격을 제안한다. 노이즈 제거 스무딩을 사용하여 강건한 분류기를 생성하고, 이에 대한 적대적 예제에서 시각적으로 의미 있는 패턴을 추출함으로써, 원래 배경 트리거보다 높은 공격 성공률을 달성하는 새로운 트리거를 발견한다. 이는 오염된 모델이 모델 접근 권한을 가진 제3자에 대해 본질적으로 취약하다는 것을 보여준다.

ABSTRACT

Under a commonly-studied backdoor poisoning attack against classification models, an attacker adds a small trigger to a subset of the training data, such that the presence of this trigger at test time causes the classifier to always predict some target class. It is often implicitly assumed that the poisoned classifier is vulnerable exclusively to the adversary who possesses the trigger. In this paper, we show empirically that this view of backdoored classifiers is incorrect. We describe a new threat model for poisoned classifier, where one without knowledge of the original trigger, would want to control the poisoned classifier. Under this threat model, we propose a test-time, human-in-the-loop attack method to generate multiple effective alternative triggers without access to the initial backdoor and the training data. We construct these alternative triggers by first generating adversarial examples for a smoothed version of the classifier, created with a procedure called Denoised Smoothing, and then extracting colors or cropped portions of smoothed adversarial images with human interaction. We demonstrate the effectiveness of our attack through extensive experiments on high-resolution datasets: ImageNet and TrojAI. We also compare our approach to previous work on modeling trigger distributions and find that our method are more scalable and efficient in generating effective triggers. Last, we include a user study which demonstrates that our method allows users to easily determine the existence of such backdoors in existing poisoned classifiers. Thus, we argue that there is no such thing as a secret backdoor in poisoned classifiers: poisoning a classifier invites attacks not just by the party that possesses the trigger, but from anyone with access to the classifier.

연구 동기 및 목표

• 배경 트리거가 오염된 분류기에서 비밀로 간주되고 원래 공격자만 제어할 수 있다는 일반적인 가정을 도전하기 위해.
• 훈련 데이터나 원래 트리거에 접근할 수 없음에도 불구하고 실용적이고 확장 가능한 대체 배경 트리거 생성 방법을 개발하기 위해.
• 강건화된 모델의 적대적 예제에서 시각적 패턴을 추출하여 오염된 분류기가 제3자에 의해 악용될 수 있음을 입증하기 위해.
• 사용자 연구를 통해 방법의 해석 가능성과 효과성을 평가하여 기존의 해석 가능성 및 공격 기반 기법들보다 열등하지 않음을 보여주기 위해.

제안 방법

• 오염된 분류기에 노이즈 제거 스무딩을 적용하여, 적대적 예제에서도 배경 패턴을 유지하는 강건한 스무딩된 버전을 생성하기 위해.
• 기본적인 적대적 공격 방법을 사용하여 스무딩된 분류기의 적대적 예제를 생성하기 위해.
• 이러한 적대적 예제에서 색상 패치나 잘라낸 이미지 영역을 고립시켜 시각적으로 의미 있는 트리거 후보를 추출하기 위해.
• 인간-중개 상호작용을 통해 추출된 후보들 중에서 효과적인 트리거 패턴을 선택하고 검증하기 위해.
• 선택된 패턴을 융합하여 새로운 트리거를 구축하고, 원래 오염된 분류기에서의 공격 성공률을 평가하기 위해.
• ImageNet과 TrojAI 데이터셋에서 신규 트리거의 성능을 원래 배경 트리거 및 기준 기법들과 비교하기 위해.

실험 결과

연구 질문

• RQ1 원본 트리거 또는 훈련 데이터에 접근할 수 없음에도 불구하고, 오염된 분류기의 효과적인 대체 배경 트리거를 생성할 수 있는가?
• RQ2 오염된 분류기의 강건화된 버전의 적대적 예제에서 악용 가능한 배경 패턴을 드러내는가? 이를 새로운 트리거로 추출할 수 있는가?
• RQ3 새로 생성된 트리거의 성능은 공격 성공률 측면에서 원래 배경 트리거와 비교해 어떻게 되는가?
• RQ4 자동화된 방법에 비해 인간-중개 트리거 패턴 선택이 트리거 발견의 효과성과 해석 가능성에 상당한 향상을 이끌 수 있는가?
• RQ5 이 방법은 비전문가 사용자가 오염된 모델의 배경 트리거를 탐지하고 이해하는 데 어느 정도 기여할 수 있는가?

주요 결과

• ImageNet에서 제안된 방법은 색상 트리거의 경우 88.60%, 잘라낸 영역 트리거의 경우 83.00%의 공격 성공률를 기록했으며, 원래 배경 트리거의 75.80% 성공률를 초월했다.
• TrojAI 라운드 0에서 20개의 분류기 평균 공격 성공률은 98.76%였고, 가장 기본적인 라운드에서 최고의 성공률 98.76%를 기록했다.
• 사용자 연구 결과, 노이즈 제거 스무딩 방법을 사용한 사용자는 오염된 모델을 식별하는 데 89%의 정확도를 달성했으며, 기본 적대적 공격 기반 기법의 68% 및 시그니처 맵 기반 기법의 52%보다 유의미하게 높았다.
• 노이즈 제거 스무딩 방법을 사용한 참가자들은 오염된 이미지에서 평균 97%의 공격 성공률를 기록한 반면, 무작위로 잘라낸 패치는 뿐만 아니라 8%의 성공률에 그쳤다.
• 이 방법은 고해상도 데이터셋에서 고품질 트리거를 효율적이고 확장 가능하게 생성함으로써, 이전의 트리거 분포 모델링 기법들을 능가하는 성능을 보였다.
• 사용자 연구를 통해 인간-중개 접근이 매우 해석 가능하고 효과적이며, 실제 오염된 모델에서 배경 트리거를 신뢰성 있게 탐지할 수 있음을 확인했다.