[论文解读] EX-RAY: Distinguishing Injected Backdoor from Natural Features in Neural Networks by Examining Differential Feature Symmetry

Yingqi Liu, Guangyu Shen+4 more|arXiv (Cornell University)|Mar 16, 2021

Adversarial Robustness in Machine Learning参考文献 87被引用 7

一句话总结

EX-RAY 提出了一种对称特征差异分析方法，通过识别区分受害类与目标类的最小特征集，来区分神经网络中注入的后门与自然触发器。该方法在仅增加 0–30% 的假阴性率的前提下，将后门扫描中的假阳性率降低了 78–100%，整体检测准确率提升 17–41%，并在 TrojAI 竞赛中实现顶尖表现。

ABSTRACT

Backdoor attack injects malicious behavior to models such that inputs embedded with triggers are misclassified to a target label desired by the attacker. However, natural features may behave like triggers, causing misclassification once embedded. While they are inevitable, mis-recognizing them as injected triggers causes false warnings in backdoor scanning. A prominent challenge is hence to distinguish natural features and injected backdoors. We develop a novel symmetric feature differencing method that identifies a smallest set of features separating two classes. A backdoor is considered injected if the corresponding trigger consists of features different from the set of features distinguishing the victim and target classes. We evaluate the technique on thousands of models, including both clean and trojaned models, from the TrojAI rounds 2-4 competitions and a number of models on ImageNet. Existing backdoor scanning techniques may produce hundreds of false positives (i.e., clean models recognized as trojaned). Our technique removes 78-100% of the false positives (by a state-of-the-art scanner ABS) with a small increase of false negatives by 0-30%, achieving 17-41% overall accuracy improvement, and facilitates achieving top performance on the leaderboard. It also boosts performance of other scanners. It outperforms false positive removal methods using L2 distance and attribution techniques. We also demonstrate its potential in detecting a number of semantic backdoor attacks.

研究动机与目标

• 为解决在神经网络中区分自然触发器（即与后门特征相似的自然类间差异）与真正注入的后门之间的挑战。
• 降低后门扫描中的假阳性率，这类假阳性通常源于将自然特征误判为注入的触发器。
• 开发一种可泛化、鲁棒的方法，提升现有后门检测技术的准确性，且不依赖于触发器大小的假设。
• 实现在真实场景中的高性能后门检测，特别是在 TrojAI 等竞赛基准中表现优异。
• 证明该方法在复杂语义后门攻击（如非简单补丁或水印式触发）中的适用性。

提出的方法

• 该方法引入一种对称特征差异分析技术，用于计算神经网络中区分受害类与目标类的最小特征集。
• 若某触发器的特征与两类间最小区分特征集存在显著差异，则判定其为注入触发器。
• 通过特征重要性分析，识别出能将两类分离的最小特征子集，利用模型激活模式进行推断。
• 应用该方法判断触发器是自然的（与类别区分特征对齐）还是注入的（偏离这些特征）。
• 将该技术与现有扫描器（如 ABS）集成，通过过滤由自然触发器引起的假阳性，提升其性能。
• 不依赖触发器大小或形状，因此对大型或语义型触发器等高级攻击具有鲁棒性。

实验结果

研究问题

• RQ1 基于特征的对称性分析能否有效区分神经网络中的自然触发器与注入后门？
• RQ2 对称特征差异分析在不显著增加假阴性率的前提下，能在多大程度上降低后门扫描中的假阳性率？
• RQ3 该方法在检测不遵循传统小而局部触发器模式的复杂语义后门方面效果如何？
• RQ4 该方法能否提升现有后门检测工具（如 ABS）在真实基准（如 TrojAI）中的表现？
• RQ5 该方法是否能在包括 ImageNet 在内的多种模型架构与数据集上实现良好泛化？

主要发现

• 当与最先进的扫描器 ABS 配合使用时，EX-RAY 将假阳性率降低了 78–100%，显著提升了检测的可靠性。
• 该方法在后门检测中实现了 17–41% 的整体准确率提升，使在 TrojAI 第 2 和第 4 轮竞赛中取得顶尖成绩。
• 在 TrojAI 第 3 轮中排名第二，表明其在多种后门类型和模型架构间具有强大泛化能力。
• 在减少误报检测方面，该技术优于基于 L2 距离和归因技术的假阳性去除方法。
• EX-RAY 在检测复杂语义后门（如反射攻击和复合攻击）方面表现良好，这些攻击的触发器通常较大且具有语义意义。
• 在模型修复实验中，自然触发器仅导致触发器大小增加 34.4%，而注入触发器则导致增加 78%，支持了自然触发器更具破坏性且更自然存在的假设。