[논문 리뷰] Distilling Cognitive Backdoor Patterns within an Image

Hanxun Huang, Xingjun Ma외 2명|arXiv (Cornell University)|2023. 01. 26.

Digital Media Forensic Detection인용 수 7

한 줄 요약

이 논문은 깊이 신경망의 예측을 담당하는 최소 패턴(Cognitive Pattern, CP)을 추출하기 위해 입력 마스크를 최적화하는 Cognitive Distillation (CD)을 소개한다. CD는 도xed된 샘플이 깨끗한 샘플보다 일관되게 훨씬 작은 CP를 가지며, 마스크 분석을 통해 다양한 유형의 백도어 공격을 강력하게 탐지할 수 있음을 드러낸다. 이는 여러 데이터셋과 모델에서 강력한 실험적 성능을 보인다.

ABSTRACT

This paper proposes a simple method to distill and detect backdoor patterns within an image: \emph{Cognitive Distillation} (CD). The idea is to extract the "minimal essence" from an input image responsible for the model's prediction. CD optimizes an input mask to extract a small pattern from the input image that can lead to the same model output (i.e., logits or deep features). The extracted pattern can help understand the cognitive mechanism of a model on clean vs. backdoor images and is thus called a \emph{Cognitive Pattern} (CP). Using CD and the distilled CPs, we uncover an interesting phenomenon of backdoor attacks: despite the various forms and sizes of trigger patterns used by different attacks, the CPs of backdoor samples are all surprisingly and suspiciously small. One thus can leverage the learned mask to detect and remove backdoor examples from poisoned training datasets. We conduct extensive experiments to show that CD can robustly detect a wide range of advanced backdoor attacks. We also show that CD can potentially be applied to help detect potential biases from face datasets. Code is available at \url{https://github.com/HanxunH/CognitiveDistillation}.

연구 동기 및 목표

• 기존 방식으로는 회피되는 도그스러운 백도어 공격을 탐지하기 위해 트리거 패턴의 공통적 특성을 식별함으로써 도전 과제를 해결하기 위해.
• 오염된 모델의 인지 메커니즘을 이해하기 위해 오류 분류를 이끄는 최소 이미지 패턴을 분리함으로써.
• 트리거 패턴이나 모델 아키텍처에 대한 사전 지식이 필요 없는 탐지 방법을 개발하기 위해.
• 백도어 트리거가 자연 이미지 특징보다 본질적으로 단순하다는 것을, 그들의 최소 인지 패턴을 통해 입증함으로써.
• 정제된 인지 패턴의 크기와 구조를 활용하여 백도어 공격의 탐지 및 완화를 가능하게 하기 위해.

제안 방법

• Cognitive Distillation (CD)는 모델의 원래 예측을 유지하는 데 필요한 최소한의 이미지 영역만 남기기 위해 학습 가능한 입력 마스크를 최적화한다.
• 이 방법은 기울기 기반 최적화를 사용하여 마스크 크기를 최소화하면서도 원래 입력의 동일한 모델 출력(Logits 또는 딥 페처)을 유지한다.
• 결과적으로 도출된 최소 패턴은 인지 패턴(CP)이라 불리며, 모델의 결정을 이끄는 필수 정보를 나타낸다.
• CD는 깨끗한 이미지와 오염된 이미지 양쪽에 적용되어 CP의 크기와 구조를 비교한다.
• 학습된 마스크와 CP는 비정상적으로 작거나 의심스러운 구조를 띤 패턴을 식별함으로써 백도어 샘플을 탐지하는 데 사용된다.
• 이 접근법은 다양한 백도어 공격 하에서 여러 데이터셋(CIFAR-10, GTSRB, ImageNet 서브셋)과 모델(ResNet, VGG, MobileNet 등)에서 평가된다.

(a) Mask and CP visualizations

실험 결과

연구 질문

• RQ1 백도어 트리거는 모델 예측을 이끄는 최소 이미지 패턴에 감지 가능한 서명을 남기나?
• RQ2 최소 예측 패턴(Cognitive Pattern)의 크기와 구조는 깨끗한 샘플과 오염된 샘플을 구분하는 데 사용될 수 있는가?
• RQ3 다양한 백도어 공격 간에 트리거 설계가 다르더라도, 공통적인 특성(예: 최소 패턴 크기)이 존재하는가?
• RQ4 사전 지식 없이도 Cognitive Distillation을 사용해 이전에 보지 못한 또는 고도로 진화된 백도어 공격을 탐지할 수 있는가?
• RQ5 CP 분석을 통해 깨끗한 입력과 오염된 입력에서 모델의 인지 메커니즘이 어떻게 다를까?

주요 결과

• 오염된 샘플의 인지 패턴(CPs)은 원래 트리거 크기나 형태에 관계없이 항상 깨끗한 샘플보다 유의미하게 작다.
• CIFAR-10에서 오염된 샘플의 평균 CP 크기는 입력 이미지 면적의 14.5%에 불과하며, 깨끗한 샘플은 56.7%를 차지한다. 이는 백도어 상관관계의 본질적 단순성에 대한 근거가 된다.
• GTSRB 데이터셋에서 BadNets 공격에 대해 98.4%의 탐지 정확도를 기록했으며, ImageNet 서브셋에서 BadNets 및 ISSBA 공격에 대해 100%의 정확도를 달성하여 다양한 공격에 대한 강건성을 입증했다.
• 동적, WaNet, ISSBA와 같은 고도의 공격을 포함한 11종의 다른 백도어 공격을 높은 정확도와 낮은 거짓 경고율로 성공적으로 탐지했다.
• 시각화 결과는 오염된 모델이 주로 최소한의 국소 영역(CPs)에 주목하는 반면, 깨끗한 샘플은 더 넓고 복잡한 특징에 의존한다는 것을 보여준다.
• 또한 이 방법은 얼굴 데이터셋에서의 잠재적 편향을 드러내었으며, 불공정한 모델 행동의 근본 원인이 될 수 있는 최소한의 비차별적 패턴을 식별했다.

(b) Attack with simplified triggers