[论文解读] Mitigating backdoor attacks in LSTM-based Text Classification Systems by Backdoor Keyword Identification

Chuanshuai Chen, Jiazhu Dai|arXiv (Cornell University)|Jul 11, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用 6

一句话总结

本文提出了一种后门关键词识别（BKI）防御方法，可在无需可信数据或触发词先验知识的情况下，检测并移除基于LSTM的文本分类模型中被后门污染的训练样本。通过分析LSTM神经元的隐藏状态变化，BKI能够以超过98%的精确度识别出触发后门的关键词，并在微调后实现近乎零的攻击成功率，有效缓解了在四个基准数据集上的后门攻击。

ABSTRACT

It has been proved that deep neural networks are facing a new threat called backdoor attacks, where the adversary can inject backdoors into the neural network model through poisoning the training dataset. When the input containing some special pattern called the backdoor trigger, the model with backdoor will carry out malicious task such as misclassification specified by adversaries. In text classification systems, backdoors inserted in the models can cause spam or malicious speech to escape detection. Previous work mainly focused on the defense of backdoor attacks in computer vision, little attention has been paid to defense method for RNN backdoor attacks regarding text classification. In this paper, through analyzing the changes in inner LSTM neurons, we proposed a defense method called Backdoor Keyword Identification (BKI) to mitigate backdoor attacks which the adversary performs against LSTM-based text classification by data poisoning. This method can identify and exclude poisoning samples crafted to insert backdoor into the model from training data without a verified and trusted dataset. We evaluate our method on four different text classification datset: IMDB, DBpedia ontology, 20 newsgroups and Reuters-21578 dataset. It all achieves good performance regardless of the trigger sentences.

研究动机与目标

• 为应对RNN-based文本分类系统中日益增长的后门攻击威胁，其中攻击者通过污染训练数据注入隐藏触发词。
• 开发一种防御机制，可在不依赖可信数据集或后门触发词先验知识的情况下，识别并移除被污染的样本。
• 通过利用触发词引发的内部神经元行为变化，实现对LSTM模型中后门攻击的有效缓解。
• 在多样化的文本分类基准上评估该防御方法的鲁棒性与泛化能力。

提出的方法

• 该方法分析LSTM层中的隐藏状态激活，以检测由后门触发词引起的异常模式。
• 通过测量在输入特定词序时隐藏状态的偏离程度，识别出触发后门的关键词。
• 该方法使用单字和双字分词技术，从模型的内部表征中提取候选触发短语。
• 即使触发短语在语义上合理，也基于高识别精确度和召回率对污染样本进行标记。
• 在识别出可疑样本后，使用清理后的数据集对模型进行微调，以恢复正常的分类行为。
• 该防御无需真实标签或目标类别知识，因此适用于实际部署。

实验结果

研究问题

• RQ1 是否可以在不掌握触发词信息或无可信数据访问的情况下，识别出LSTM-based文本分类器中的后门触发关键词？
• RQ2 在多样化的文本分类数据集中，利用LSTM隐藏状态分析检测被污染训练样本的效率如何？
• RQ3 移除检测到的污染样本后，模型准确率能否恢复，攻击成功率能否显著降低？
• RQ4 在使用单字与双字分词进行触发检测时，该防御方法的性能差异如何？

主要发现

• BKI方法在所有四个数据集中均实现了超过98%的识别精确度与召回率，其中在IMDB数据集上的最高召回率达到99.80%。
• 在使用清理后的数据集微调后，所有数据集的攻击成功率均降至近乎为零（0.10%至1.80%），表明后门行为得到有效缓解。
• 微调后模型的分类准确率与原始干净模型的差距在4%以内，IMDB数据集上差距低至0.95%，DBpedia数据集上仅为0.30%。
• 使用双字分词的方法性能与单字分词相当，微调后在IMDB数据集上的测试准确率为85.71%，在DBpedia数据集上为97.21%。
• 在未被污染的原始数据集上，BKI仅移除了0.72%至3.35%的正常样本，表明误报率较低。
• 即使触发词被语义上自然地嵌入句子中，使传统方法难以检测，该防御仍能成功缓解后门攻击。