[논문 리뷰] Defending Neural Backdoors via Generative Distribution Modeling

Ximing Qiao, Yukun Yang외 1명|arXiv (Cornell University)|2019. 10. 10.

Adversarial Robustness in Machine Learning인용 수 65

한 줄 요약

이 논문은 미지의 유효 백도어 트리거 분포를 모델링하기 위해 최대 엔트로피 계단식 근사기(MESA)를 제안하고, 이를 통해 신경망의 백도어에 대해 강건하게 방어한다.

ABSTRACT

Neural backdoor attack is emerging as a severe security threat to deep learning, while the capability of existing defense methods is limited, especially for complex backdoor triggers. In the work, we explore the space formed by the pixel values of all possible backdoor triggers. An original trigger used by an attacker to build the backdoored model represents only a point in the space. It then will be generalized into a distribution of valid triggers, all of which can influence the backdoored model. Thus, previous methods that model only one point of the trigger distribution is not sufficient. Getting the entire trigger distribution, e.g., via generative modeling, is a key to effective defense. However, existing generative modeling techniques for image generation are not applicable to the backdoor scenario as the trigger distribution is completely unknown. In this work, we propose max-entropy staircase approximator (MESA), an algorithm for high-dimensional sampling-free generative modeling and use it to recover the trigger distribution. We also develop a defense technique to remove the triggers from the backdoored model. Our experiments on Cifar10/100 dataset demonstrate the effectiveness of MESA in modeling the trigger distribution and the robustness of the proposed defense method.

연구 동기 및 목표

• 백도어 트리거가 픽셀 공간에서 단일 지점이 아니라 연속 분포를 형성한다는 문제를 동기 부여하고 형식화한다.
• 직접 샘플링 없이 유효 트리거 분포를 복원하기 위한 샘플링 없는 생성 모델링 접근법(MESA)을 제안한다.
• 복원된 트리거 분포를 사용하여 재학습하고 백도어를 제거하는 방어 파이프라인을 개발한다.
• CIFAR-10/100에서 다수의 트리거 유형에 걸친 방법의 강건성과 효과를 실증한다.

제안 방법

• 미지의 트리거 분포를 근사하기 위해 N개의 서브모델을 집합화하는 최대 엔트로피 계단식 근사기(MESA)를 도입한다.
• 트리거에 대한 미지의 분포 f가 상한 밀도로 학습되고 대리 ASR 기반 테스트 함수 F를 통해 학습되는 샘플링 없는 생성 문제로 문제를 형식화한다.
• 계단 임계치 beta_i 아래에서 상호정보 신경망 추정기(MINE)를 통한 엔트로피 최대화를 사용해 서브모델 G_theta_i를 훈련한다.
• 엔트로피로부터 도출된 가중치 gamma_i로 서브모델을 앙상블해 목표 분포 F를 근사하고 트리거 분포 f를 재구성한다.
• 유효 트리거를 모델링하기 위한 MESA 구현을 위한 알고리즘 2와 MESA 앙상블 기전을 위한 알고리즘 1을 제공한다.
• 세 단계 방어를 정의한다: 공격 대상 클래스를 탐지하고, 모델링된 분포에서 그려진 트리거로 재학습하며, 최적의 방어를 위해 beta_i를 평가/조정한다.

실험 결과

연구 질문

• RQ1 백도어 트리거 분포를 픽셀 공간의 분포로 효과적으로 모델링할 수 있는가, 단일 트리거 지점이 아닌가?
• RQ2 샘플링 없이 MESA가 유효한 트리거 분포를 회복할 수 있는가?
• RQ3 회수된 트리거 분포를 기반으로 한 방어가 단일 역방향 트리거 기준선과 비교해 다양한 트리거에서 ASR을 강건하게 감소시키는가?
• RQ4 하이퍼파라미터 alpha와 beta_i가 모델링된 분포의 질과 방어 성능에 어떤 영향을 미치는가?
• RQ5 제안된 분포 기반 방어가 서로 다른 CIFAR 데이터셋과 대상 클래스에서 효과적인가?

주요 결과

• MESA는 CIFAR-10/100에서 다양한 3x3 및 색상 트리거에 대해 유효한 트리거 분포를 모델링할 수 있다.
• 모델링된 트리거 분포를 기반으로 한 방어는 원래 트리거 ASR을 92.3%–99.8%에서 1.2%–5.9%로 감소시킨다.
• 단일 역방향 트리거를 사용한 기준 방어는 분산이 훨씬 크고 최악의 경우 ASR이 최대 51%까지 증가한다.
• MESA에 의해 달성된 대상 클래스 탐지는 공격 받았는지 비공격 클래스를 신뢰성 있게 구분한다(참 대상 클래스에서 높은 ASR, 다른 클래스에서 낮음).
• beta_i=0.9로의 앙상블이 최적의 방어 성능을 보이며 방어 후 ASR은 평균 약 3.4% (최악의 경우 5.9%)이다.
• 방어 강건성은 CIFAR-10/100에서 블랙-화이트 트리거와 무작위 색상 트리거 모두에 대해 입증된다.