[论文解读] Distilling Cognitive Backdoor Patterns within an Image

Hanxun Huang, Xingjun Ma+2 more|arXiv (Cornell University)|Jan 26, 2023

Digital Media Forensic Detection被引用 7

一句话总结

本文提出认知蒸馏（Cognitive Distillation, CD），一种通过优化输入掩码以提取驱动深度神经网络预测的最小模式（认知模式，CP）的方法。CD 表明，后门样本的 CP 明显小于干净样本，从而可通过掩码分析实现对多种后门攻击的鲁棒检测，在多个数据集和模型上均表现出优异的实证性能。

ABSTRACT

This paper proposes a simple method to distill and detect backdoor patterns within an image: \emph{Cognitive Distillation} (CD). The idea is to extract the "minimal essence" from an input image responsible for the model's prediction. CD optimizes an input mask to extract a small pattern from the input image that can lead to the same model output (i.e., logits or deep features). The extracted pattern can help understand the cognitive mechanism of a model on clean vs. backdoor images and is thus called a \emph{Cognitive Pattern} (CP). Using CD and the distilled CPs, we uncover an interesting phenomenon of backdoor attacks: despite the various forms and sizes of trigger patterns used by different attacks, the CPs of backdoor samples are all surprisingly and suspiciously small. One thus can leverage the learned mask to detect and remove backdoor examples from poisoned training datasets. We conduct extensive experiments to show that CD can robustly detect a wide range of advanced backdoor attacks. We also show that CD can potentially be applied to help detect potential biases from face datasets. Code is available at \url{https://github.com/HanxunH/CognitiveDistillation}.

研究动机与目标

• 为解决现有防御机制难以检测的隐蔽后门攻击挑战，通过识别触发模式的共性特征。
• 通过隔离驱动误分类的最小图像模式，理解后门模型的认知机制。
• 开发一种无需事先知晓触发模式或模型架构知识的检测方法。
• 揭示后门触发模式在本质上比自然图像特征更简单，其最小认知模式可作为证据。
• 通过利用蒸馏出的认知模式的大小与结构，实现后门攻击的检测与缓解。

提出的方法

• 认知蒸馏（CD）通过优化可学习的输入掩码，仅保留能保持模型原始预测结果的最小图像区域。
• 该方法使用基于梯度的优化，最小化掩码大小，同时保持与原始输入相同的模型输出（logits 或深层特征）。
• 由此产生的最小模式称为认知模式（CP），代表驱动模型决策的关键信息。
• CD 被应用于干净样本与后门样本，以比较其 CP 的大小与结构差异。
• 通过识别异常小或结构可疑的模式，利用学习到的掩码与 CP 检测后门样本。
• 该方法在多个数据集（CIFAR-10、GTSRB、ImageNet 子集）和模型（ResNet、VGG、MobileNet 等）上，针对多种后门攻击进行了评估。

(a) Mask and CP visualizations

实验结果

研究问题

• RQ1 后门触发模式是否会在驱动模型预测的最小图像模式中留下可检测的痕迹？
• RQ2 最小预测模式（认知模式）的大小与结构能否有效区分干净样本与后门样本？
• RQ3 尽管触发设计各异，是否存在一种普遍特征（如最小模式大小）在多种后门攻击中保持一致？
• RQ4 认知蒸馏能否在不预先知晓触发模式的情况下，检测到未见过或更先进的后门攻击？
• RQ5 通过 CP 分析，模型在干净输入与后门输入上的认知机制有何不同？

主要发现

• 无论原始触发大小或形式如何，后门样本的认知模式（CP）始终显著小于干净样本。
• 在 CIFAR-10 上，后门样本的平均 CP 大小仅为输入图像面积的 14.5%，而干净样本为 56.7%，表明后门相关性具有根本上的简洁性。
• 在 GTSRB 数据集的 BadNets 攻击中，CD 实现了 98.4% 的检测准确率；在 ImageNet 子集上，对 BadNets 和 ISSBA 攻击的检测准确率为 100%，展现出对多样化攻击的鲁棒性。
• 该方法成功检测了 11 种不同的后门攻击，包括动态攻击（Dynamic）、WaNet 和 ISSBA 等高级攻击，检测准确率高且误报率低。
• 可视化结果表明，后门模型将注意力集中于最小、局部的区域（CP），而干净样本则依赖更广泛、更复杂的特征。
• 该方法还揭示了人脸数据集中潜在的偏差，通过识别出最小且非判别性的模式，可能揭示不公平模型行为的根源。

(b) Attack with simplified triggers