[论文解读] Backdoor Scanning for Deep Neural Networks through K-Arm Optimization

Guangyu Shen, Yingqi Liu+6 more|arXiv (Cornell University)|Feb 9, 2021

Adversarial Robustness in Machine Learning参考文献 59被引用 29

一句话总结

本文提出一个 K-Arm backdoor 扫描器，使用多臂老虎机策略在 DNNs 中高效识别后门，在 TrojAI 上实现顶级性能，扫描速度比现有最先进方法更快。

ABSTRACT

Back-door attack poses a severe threat to deep learning systems. It injects hidden malicious behaviors to a model such that any input stamped with a special pattern can trigger such behaviors. Detecting back-door is hence of pressing need. Many existing defense techniques use optimization to generate the smallest input pattern that forces the model to misclassify a set of benign inputs injected with the pattern to a target label. However, the complexity is quadratic to the number of class labels such that they can hardly handle models with many classes. Inspired by Multi-Arm Bandit in Reinforcement Learning, we propose a K-Arm optimization method for backdoor detection. By iteratively and stochastically selecting the most promising labels for optimization with the guidance of an objective function, we substantially reduce the complexity, allowing to handle models with many classes. Moreover, by iteratively refining the selection of labels to optimize, it substantially mitigates the uncertainty in choosing the right labels, improving detection accuracy. At the time of submission, the evaluation of our method on over 4000 models in the IARPA TrojAI competition from round 1 to the latest round 4 achieves top performance on the leaderboard. Our technique also supersedes three state-of-the-art techniques in terms of accuracy and the scanning time needed.

研究动机与目标

• 推动对深度神经网络中后门的鲁棒检测，以保护 DL 系统。
• 降低跨越多分类和标签对的扫描计算复杂度。
• 开发一个随机、按轮次的优化框架，在区分自然特征与触发器的同时识别真正的后门。
• 在大规模 TrojAI 数据集和 ImageNet 模型上展示可扩展性和有效性。

提出的方法

• 将后门扫描表述为一个 K-Arm 优化问题，其中 K 个臂对应目标标签（以及用于通用后门与标签特异后门的标签对）。
• 使用一个触发器优化器，通过模式 P 和掩码 M 对图案进行盖章，并优化 min_P,M L(t,F((1−M)·X+M·P)) + α||M||1，满足成功条件 Acc(Ẋ,t) ≥ θ 且 ||M||1 < 之前的 ||M||1。
• 采用 ε-贪婪的 K-Arm 调度器来平衡探索与利用，目标 A(l) 基于触发器尺寸减少速率和当前触发器尺寸。
• 通过对良性样本的 logit 统计进行筛选，加入预筛选以减少臂集。
• 通过对称优化扩展调度器，通过比较 victim→target 与 target→victim 之间的优化方向来区分自然特征和真正的后门。
• 提供理论分析，展示效率的提升，并在 TrojAI rounds 1–4 和 ImageNet 上进行实证验证。

实验结果

研究问题

• RQ1 在具有大量类别的模型中，是否可以使用 K-Arm 带牌方法在不穷举扫描每对标签的情况下高效识别后门？
• RQ2 随机的、轮次基础的标签选择是否在检测准确性和扫描时间方面优于现有方法如 NC 和 ABS？
• RQ3 对称性考虑在将自然特征与真实后门触发器分离方面有多有效？
• RQ4 在对大型 TrojAI rounds 和 ImageNet 模型进行验证时，准确性和时间上的经验增益有多大？

主要发现

• 在 TrojAI 排行榜的 rounds 1–4 中达到顶尖表现，超越 NC、ABS 和 ULP。
• 显著降低扫描时间，在准确率方面相对于基于优化的基线有显著提升（例如，对 NC 提升 31%、对 ABS 提升 20%、对 ULP 提升 27%）。
• 通过预筛选在不牺牲检测准确性的前提下，减少有效臂空间，从而处理具有大量类别的模型。
• 通过对称优化和方向性分析有效地区分自然特征和后门触发器。
• 在 ImageNet 等数据集上显示出强劲的结果，同时显著降低运行时间并保持高检测效能。