[论文解读] Towards A Critical Evaluation of Robustness for Deep Learning Backdoor Countermeasures

Huming Qiu, Hua Ma+5 more|arXiv (Cornell University)|Apr 13, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文批判性地评估了三种主流深度学习后门防御方法——Neural Cleanse、ABS 和 MNTD 的鲁棒性，揭示了即使在它们自身的威胁模型内，这些防御方法在数据集、模型架构、任务类型和超参数的常见变化下也表现出非鲁棒性。作者通过形式化证明和实证研究表明，这些防御可被轻易绕过，导致后门检测中出现假阴性，尤其是在模型充分训练或超参数略有改变时。

ABSTRACT

Since Deep Learning (DL) backdoor attacks have been revealed as one of the most insidious adversarial attacks, a number of countermeasures have been developed with certain assumptions defined in their respective threat models. However, the robustness of these countermeasures is inadvertently ignored, which can introduce severe consequences, e.g., a countermeasure can be misused and result in a false implication of backdoor detection. For the first time, we critically examine the robustness of existing backdoor countermeasures with an initial focus on three influential model-inspection ones that are Neural Cleanse (S&P'19), ABS (CCS'19), and MNTD (S&P'21). Although the three countermeasures claim that they work well under their respective threat models, they have inherent unexplored non-robust cases depending on factors such as given tasks, model architectures, datasets, and defense hyper-parameter, which are extit{not even rooted from delicate adaptive attacks}. We demonstrate how to trivially bypass them aligned with their respective threat models by simply varying aforementioned factors. Particularly, for each defense, formal proofs or empirical studies are used to reveal its two non-robust cases where it is not as robust as it claims or expects, especially the recent MNTD. This work highlights the necessity of thoroughly evaluating the robustness of backdoor countermeasures to avoid their misleading security implications in unknown non-robust cases.

研究动机与目标

• 批判性评估现有后门防御方法的鲁棒性，特别是基于模型检查的防御方法，这些方法在它们的威胁模型内通常被认为具有鲁棒性。
• 识别尚未探索的影响因素，如模型架构、数据集、任务类型和超参数，这些因素会导致这些防御方法在无自适应攻击的情况下失效。
• 证明像 MNTD 这类有影响力防御方法对训练超参数（例如训练轮数）高度敏感，导致检测性能不可靠。
• 强调用户在未理解其非鲁棒边界情况的情况下部署这些防御方法时，可能产生虚假安全的严重风险。
• 倡导一种新的研究方向，即在实际部署前系统性地评估后门防御方法的鲁棒性。

提出的方法

• 针对三种防御方法（Neural Cleanse、ABS、MNTD）中的每一种，通过形式化证明或实证案例研究，识别其预设威胁模型内非鲁棒的场景。
• 复现每种防御方法的原始源代码，以确保在相同条件下进行一致的评估。
• 系统性地改变关键因素，如模型架构（例如 VGG11）、数据集（例如 CIFAR-10）、任务类型（例如二分类与多分类）和超参数（例如训练轮数、批量大小）。
• 对于 MNTD，使用 AUC 作为指标评估元分类器的性能，分析超参数变化对检测准确率的影响。
• 将良性模型和后门模型均训练至收敛，以模拟真实世界部署场景，与通常在早期停止的影子模型训练形成对比。
• 利用元分类器的得分分布分析检测性能是否与模型收敛性或后门存在性相关。

实验结果

研究问题

• RQ1 现有基于模型检查的后门防御方法在不同模型架构、数据集和任务类型下是否具有鲁棒性，即使在它们声明的威胁模型范围内？
• RQ2 训练轮数和批量大小等超参数在多大程度上影响 MNTD 等防御方法的检测性能？
• RQ3 在标准训练条件下，Neural Cleanse 和 ABS 的非鲁棒情况能否被形式化证明或实证展示？
• RQ4 为何 MNTD 的元分类器在目标模型充分训练后无法区分后门模型，尽管其设计用于无源后门？
• RQ5 这些防御方法中假阴性检测的根本原因是什么，它们如何破坏后门检测的安全假设？

主要发现

• Neural Cleanse 被形式化证明不适用于二分类模型，且在模型更深时（即使在其自身威胁模型内）被实证证明会失效。
• 当使用正常（低）中毒率训练时，ABS 会错误地将后门模型判定为良性，这在现实世界设置中是常见做法。
• 当测试模型仅训练 4 个轮次时，MNTD 的元分类器 AUC 达到 96%，但当良性模型训练至 100 个轮次时，AUC 下降至 50%（随机猜测），表明其对训练时长高度敏感。
• 当良性模型和后门模型均训练至收敛时，元分类器往往给良性模型分配比后门模型更高的分数，导致检测行为与预期相反。
• 元分类器的性能对超参数（如训练轮数和批量大小）极为敏感，使得 MNTD 在现实场景中不可靠，因为现实中的模型通常都会充分训练。
• MNTD 中后门模型得分更高的倾向并非源于后门的存在，而是源于后门子任务的收敛（高 ASR），而这一指标并非后门存在的可靠指标。