[论文解读] Backdoor Attacks and Countermeasures in Natural Language Processing Models: A Comprehensive Security Review

Pengzhou Cheng, Zongru Wu+4 more|arXiv (Cornell University)|Sep 12, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文系统性地综述了自然语言处理（NLP）中的后门攻击与防御措施，根据攻击在机器学习流水线中的阶段对攻击进行分类——通过微调或参数高效微调攻击预训练模型，以及在训练过程中攻击最终模型。文章指出了防御机制中的关键漏洞，并呼吁开发更实用、更鲁棒的对抗措施，尤其是针对大语言模型（LLM）的应用。

ABSTRACT

Language Models (LMs) are becoming increasingly popular in real-world applications. Outsourcing model training and data hosting to third-party platforms has become a standard method for reducing costs. In such a situation, the attacker can manipulate the training process or data to inject a backdoor into models. Backdoor attacks are a serious threat where malicious behavior is activated when triggers are present, otherwise, the model operates normally. However, there is still no systematic and comprehensive review of LMs from the attacker's capabilities and purposes on different backdoor attack surfaces. Moreover, there is a shortage of analysis and comparison of the diverse emerging backdoor countermeasures. Therefore, this work aims to provide the NLP community with a timely review of backdoor attacks and countermeasures. According to the attackers' capability and affected stage of the LMs, the attack surfaces are formalized into four categorizations: attacking the pre-trained model with fine-tuning (APMF) or parameter-efficient fine-tuning (APMP), attacking the final model with training (AFMT), and attacking Large Language Models (ALLM). Thus, attacks under each categorization are combed. The countermeasures are categorized into two general classes: sample inspection and model inspection. Thus, we review countermeasures and analyze their advantages and disadvantages. Also, we summarize the benchmark datasets and provide comparable evaluations for representative attacks and defenses. Drawing the insights from the review, we point out the crucial areas for future research on the backdoor, especially soliciting more efficient and practical countermeasures.

研究动机与目标

• 系统性地根据后门攻击在机器学习流水线中的阶段对NLP中的后门攻击进行分类，识别攻击者的权限与目的。
• 分析并比较新兴的防御措施，将其划分为样本检测与模型检测两类方法。
• 突出显示后门攻击技术的快速发展与NLP中防御机制发展滞后之间的显著差距。
• 倡导开发更实用、基于实证的防御策略，尤其针对大语言模型（LLM）。
• 探索后门技术的积极应用，如数字水印与隐写术，以启发防御设计。

提出的方法

• 将后门攻击划分为三个阶段：通过微调攻击预训练模型（APMF）、通过参数高效微调攻击（APMP），以及在训练过程中攻击最终模型（AFMT）。
• 将防御措施划分为两大类：样本检测（如基于困惑度、基于熵的检测）与模型检测（如基于触发器反演的方法）。
• 利用语言学探针与表征分析，从神经元与层的层面理解后门行为，从而深入洞察模型的脆弱性。
• 提出可区分触发器引发的行为与其他干扰因素（如数据噪声或语义偏移）的评估指标。
• 为防御措施引入二分类评估设置，将其视为在不平衡数据集上的异常检测，以更真实地反映现实场景。
• 探索利用GPT-4等大语言模型（LLM）自动评估攻击与防御性能，以提升基准测试的可靠性。

实验结果

研究问题

• RQ1 NLP中的后门攻击在NLP模型流水线的不同阶段有何差异？攻击者在各阶段具备何种能力？
• RQ2 在NLP中，哪些防御措施最为有效且实用？它们在检测准确率与鲁棒性方面如何比较？
• RQ3 为何后门攻击的复杂性持续提升，而现有防御机制的有效性却始终不足？
• RQ4 后门技术能否被重新用于积极应用，如模型水印或隐写术？
• RQ5 在现代NLP系统中，评估后门攻击与防御真实有效性的最合适的评估框架是什么？

主要发现

• NLP中的后门攻击极为有效，且可隐蔽地嵌入于模型流水线的任意阶段，包括预训练、微调与最终训练阶段。
• 没有一种单一的防御机制能够可靠地防范所有类型的后门攻击，攻击者通常可通过更隐蔽、自适应的触发器绕过现有防御。
• 样本检测方法（如基于困惑度、基于熵的检测）虽具潜力，但在检测复杂、语义上合理的触发器方面存在局限。
• 模型检测技术（如触发器反演）在识别后门方面更为有效，但需要访问模型内部结构，且不具备普遍适用性。
• 防御措施的评估常基于不切实际的假设，例如同时拥有干净数据集与污染数据集，这削弱了其在真实世界中的适用性。
• 后门技术的积极应用（如水印与隐写术）表明，用于攻击的相同机制可被重新用于安全与完整性验证。