[论文解读] Model Agnostic Defence against Backdoor Attacks in Machine Learning

Sakshi Udeshi, Shanshan Peng+4 more|arXiv (Cornell University)|Aug 6, 2019

Adversarial Robustness in Machine Learning被引用 12

一句话总结

NEO 是一种模型无关的黑盒防御框架，通过系统性地遮蔽和重建触发器，检测并缓解图像分类模型中的后门攻击。它在每次图像推理仅需 4.4 毫秒的情况下实现了 88% 的平均检测率，且在未访问模型权重或训练数据的情况下，仍优于最先进的白盒防御方法。

ABSTRACT

Machine Learning (ML) has automated a multitude of our day-to-day decision making domains such as education, employment and driving automation. The continued success of ML largely depends on our ability to trust the model we are using. Recently, a new class of attacks called Backdoor Attacks have been developed. These attacks undermine the user's trust in ML models. In this work, we present NEO, a model agnostic framework to detect and mitigate such backdoor attacks in image classification ML models. For a given image classification model, our approach analyses the inputs it receives and determines if the model is backdoored. In addition to this feature, we also mitigate these attacks by determining the correct predictions of the poisoned images. An appealing feature of NEO is that it can, for the first time, isolate and reconstruct the backdoor trigger. NEO is also the first defence methodology, to the best of our knowledge that is completely blackbox. We have implemented NEO and evaluated it against three state of the art poisoned models. These models include highly critical applications such as traffic sign detection (USTS) and facial detection. In our evaluation, we show that NEO can detect $\approx$88% of the poisoned inputs on average and it is as fast as 4.4 ms per input image. We also reconstruct the poisoned input for the user to effectively test their systems.

研究动机与目标

• 应对机器学习中日益增长的后门攻击威胁，特别是在第三方机器学习即服务部署中，模型可信度受到破坏的情况。
• 开发一种无需访问模型架构、权重或训练数据的防御机制，从而实现黑盒部署。
• 检测被污染输入中的后门触发器，并对其进行重建，以揭示此类攻击的隐蔽性特征。
• 提供一种缓解策略，通过中和触发器来恢复被污染输入的正确预测结果。
• 在作为黑盒解决方案的前提下，超越现有最先进的防御方法，包括白盒技术。

提出的方法

• 系统性地遮蔽输入图像中的候选区域，通过观察模型预测的变化来定位后门触发器的位置。
• 使用检测到的触发器区域中的主导颜色生成遮罩，以中和触发器对模型输出的影响。
• 应用基于阈值的决策规则（ΛT），根据干净输入上预测结果的变化，判断遮蔽区域是否表示后门触发器。
• 从遮蔽区域重建原始的后门触发器模式，以实现用户透明化并支持系统改进。
• 作为后推理模块与任何预训练图像分类器协同运行，无需修改模型或其训练过程。
• 利用干净输入流验证疑似触发器是否导致误分类，通过多数预测结果的显著偏移来确认后门的存在。

实验结果

研究问题

• RQ1 一种无需访问训练数据或模型参数的黑盒、模型无关方法，能否有效检测图像分类器中的后门触发器？
• RQ2 在保持基线准确率的前提下，触发器遮蔽在恢复被污染输入正确预测方面有多高效？
• RQ3 该框架能否重建精确的后门触发器模式，以供用户检查和模型加固？
• RQ4 NEO 在检测与缓解性能方面，与最先进的白盒防御方法相比如何，尤其是在准确率和鲁棒性方面？
• RQ5 NEO 在面对多种多样、最先进的后门攻击变体时，其有效性在多大程度上仍能保持？

主要发现

• NEO 在三种最先进的被污染模型上实现了平均 88% 的检测率，展现出强大的检测能力。
• 该框架平均每个输入仅需 4.4 毫秒的处理时间，表明其具有高效性，适用于实时部署。
• 尽管是黑盒方法，NEO 在检测准确率方面仍优于现有白盒防御方法，尤其在对抗后门攻击方面表现突出。
• NEO 能够成功重建精确的后门触发器模式，使用户能够检查并修复污染的根本原因。
• 该方法在干净输入上保持了极小的性能损失，既维持了基线准确率，又有效缓解了恶意行为。
• NEO 对多种后门攻击均有效，包括具有局部化、固定位置触发器的攻击，但对分布式触发器不具备防御能力。