[논문 리뷰] TOP: Backdoor Detection in Neural Networks via Transferability of Perturbation

Todd Huster, Emmanuel Ekwedike|arXiv (Cornell University)|2021. 03. 18.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 11

한 줄 요약

이 논문은 훈련 데이터나 트리거 예시 없이도 오염된 신경망을 식별하는 새로운 백도어 탐지 방법인 TOP(퍼티urbation의 이동성)을 제안한다. 오염된 모델에서 적대적 편향의 이동성이 순수 모델보다 높아지는 것을 측정함으로써 이를 실현한다. 훈련 데이터나 트리거 샘플이 필요 없이, 소량의 정상 입력과 적대적 공격을 사용하여 높은 정확도로 백도어를 탐지할 수 있으며, TrojAI 벤치마크에서 AUC > 0.85를 달성하고, 최소한의 훈련 데이터나 비IIDs 설정에서도 강건한 성능을 보인다.

ABSTRACT

Deep neural networks (DNNs) are vulnerable to "backdoor" poisoning attacks, in which an adversary implants a secret trigger into an otherwise normally functioning model. Detection of backdoors in trained models without access to the training data or example triggers is an important open problem. In this paper, we identify an interesting property of these models: adversarial perturbations transfer from image to image more readily in poisoned models than in clean models. This holds for a variety of model and trigger types, including triggers that are not linearly separable from clean data. We use this feature to detect poisoned models in the TrojAI benchmark, as well as additional models.

연구 동기 및 목표

• 훈련 데이터나 트리거 예시에 접근할 수 없는 상황에서 딥 신경망의 백도어를 탐지하는 열린 문제를 해결하기 위해.
• 실제 운영 환경에서 오염된 모델과 순수 모델을 신뢰성 있게 구분할 수 있는 모델 수준의 특성을 규명하기 위해.
• 다양한 트리거 유형, 모델 아키텍처, 비IIDs 데이터 분포에 대해 강건한 탐지 방법을 개발하기 위해.
• 훈련 데이터 모니터링이 불가능한 생산 환경에서 실용적이고 경량의 백도어 탐지 기법을 제공하기 위해.

제안 방법

• 이 방법은 오염된 모델에서는 입력 간에 적대적 편향의 이동성이 순수 모델보다 더 잘 일어나는 관찰에 기반한다.
• 소량의 정상 입력에 대해 비타겟 공격(예: PGD)을 사용하여 적대적 편향을 생성함으로써 모델의 편향 민감도를 조사한다.
• 편향의 이동성에서 파생된 특징을 사용하여 소량의 균형 잡힌 클래스의 모델(순수 및 오염됨) 세트에서 탐지기 모델을 훈련시킨다.
• 편향 이동성 점수를 기반으로 분류기(예: 로지스틱 회귀)를 사용하여 순수 모델과 오염된 모델를 구분한다.
• 소량의 레이블이 붙은 모델을 사용하여 校정을 수행하고, 다양한 라운드의 TrojAI 벤치마크에서의 새로운 테스트 모델에 대해 평가한다.
• 공격 도메인(예: 필터 기반 vs. ℓ₁)이 실제 트리거 유형과 다를 경우에도 효과적이며, 다양한 공격 유형 간의 일반화 능력을 보여준다.

실험 결과

연구 질문

• RQ1 훈련 데이터나 트리거 예시 없이도, 적대적 편향의 이동성이 딥 신경망에서 백도어 오염 여부를 신뢰성 있게 나타낼 수 있는가?
• RQ2 다양한 트리거 유형과 모델 아키텍처에서 오염된 모델과 순수 모델 간의 적대적 편향 이동성에는 어떤 차이가 있는가?
• RQ3 소량의 비IIDs 모델 세트에서 훈련된 TOP 방법이 새로운 다양성 있는 모델 세트에서 테스트되었을 때 백도어를 효과적으로 탐지할 수 있는가?
• RQ4 TrojAI 벤치마크의 다른 라운드 간의 데이터 분포 변화에 대해 TOP 탐지기가 얼마나 강건한가?
• RQ5 비선형적으로 분리 가능한 트리거(예: 인스타그램 스타일 필터)를 포함한 다양한 트리거 유형에 대해 이 방법이 일반화되는가?

주요 결과

• TOP는 다각형 트리거를 사용한 TrojAI 벤치마크 라운드 3에서 AUC 0.90을 달성하여 뛰어난 탐지 성능를 입증했다.
• 단 한 개의 양성 및 음성 예시만으로도 탐지기가 AUC 0.80 이상을 달성하여 최소한의 훈련 데이터로도 효과적임을 보였다.
• 비IIDs 교차 라운드 탐지에서 AUC 약 0.75를 유지하여 분포 이동에 대한 강건성을 입증했다.
• CIFAR-10 모델에서 필터 기반 공격만으로도 AUC 0.92를 달성했고, ℓ₁ 및 필터 공격 조합을 사용했을 땐 AUC 0.84를 기록했다.
• 다양한 트리거 유형 간의 일반화 능력이 뛰어나, 필터 기반 공격은 다각형 트리거를 AUC > 0.75로 탐지했으며, ℓ₁ 공격은 트리거와 불일치하더라도 탐지 신호를 제공했다.
• 라운드 간 성능은 안정적이었으며, AUC 점수 범위는 0.68에서 0.88까지 다양했고, 이는 실생활 환경에서의 강건성을 확인시켰다.