[论文解读] A Survey of Neural Trojan Attacks and Defenses in Deep Learning

Jie Wang, Ghulam Mubashar Hassan+1 more|arXiv (Cornell University)|Feb 15, 2022

Adversarial Robustness in Machine Learning被引用 14

一句话总结

本综述对深度学习中的神经后门攻击与防御技术提供了全面且最新的系统性回顾，系统性地分类了近期的后门注入与检测技术。它突出了无触发器和动态后门等新兴威胁，并指出了由于模型复杂性及第三方参与导致检测面临的关键挑战。

ABSTRACT

Artificial Intelligence (AI) relies heavily on deep learning - a technology that is becoming increasingly popular in real-life applications of AI, even in the safety-critical and high-risk domains. However, it is recently discovered that deep learning can be manipulated by embedding Trojans inside it. Unfortunately, pragmatic solutions to circumvent the computational requirements of deep learning, e.g. outsourcing model training or data annotation to third parties, further add to model susceptibility to the Trojan attacks. Due to the key importance of the topic in deep learning, recent literature has seen many contributions in this direction. We conduct a comprehensive review of the techniques that devise Trojan attacks for deep learning and explore their defenses. Our informative survey systematically organizes the recent literature and discusses the key concepts of the methods while assuming minimal knowledge of the domain on the readers part. It provides a comprehensible gateway to the broader community to understand the recent developments in Neural Trojans.

研究动机与目标

• 提供深度学习中近期神经后门攻击与防御技术的系统性、最新综述。
• 识别并分析由于第三方参与训练与部署而导致深度学习模型中的关键漏洞。
• 在无触发器和动态后门等先进攻击的背景下，审视现有检测方法的局限性。
• 突出非视觉领域（如语音和自然语言处理）中尚未充分探索的研究方向。
• 为领域知识较少的研究人员提供理解当前神经后门研究现状的入门门户。

提出的方法

• 本综述对顶级机器学习与计算机视觉会议（如CVPR、ICCV、NeurIPS、ICLR）发表的近期文献进行了系统性文献回顾。
• 根据攻击向量（如数据 poisoning、模型操纵、预训练模型破坏）对后门攻击技术进行分类，并对防御机制进行归类。
• 从隐蔽性、鲁棒性和成功率等方面分析触发器的有效性，尤其针对视觉模型。
• 评估在黑盒环境下的检测挑战，即在模型访问受限但可通过查询探测揭示漏洞的情况下。
• 讨论架构级与数据级防御方法，包括激活聚类、基于梯度的分析以及输入净化。
• 强调触发器设计的重要性，并指出实现有效后门所需的数据 poisoning 最小化需求。

实验结果

研究问题

• RQ1 第三方参与数据收集、模型训练或部署如何增加神经后门攻击的易感性？
• RQ2 在深度学习模型中，有效且难以检测的后门触发器的关键特征是什么？
• RQ3 为何无触发器和动态后门等现代攻击对现有防御机制构成特别挑战？
• RQ4 在语音和自然语言处理等非视觉领域中的后门攻击与基于图像的模型中的攻击有何不同？
• RQ5 在提升对先进神经后门威胁的检测与防御能力方面，最具前景的未来研究方向是什么？

主要发现

• 神经后门攻击正变得日益高效且隐蔽，尤其是无触发器和动态后门技术的兴起，使得传统检测方法难以应对。
• 第三方参与数据收集、训练或模型部署显著增加了在用户不知情的情况下注入后门的风险。
• 由于现代触发器的细微性和自适应性，大多数现有防御方法在面对先进攻击时均告失效，尤其是在触发器被随机化或完全缺失的情况下。
• 目前绝大多数研究集中于视觉模型，导致在语音、自然语言处理及图神经网络模型中的后门理解与防御仍存在显著空白。
• 迫切需要在最小数据 poisoning 和自适应触发器设计方面开展更多研究，以提升攻击效率并增强检测的鲁棒性。
• 本综述确认了学术界兴趣的持续增长趋势，顶级人工智能与机器学习会议中相关论文数量持续上升，表明该领域的重要性日益凸显。