[论文解读] Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation

KiYoon Yoo, Jangho Kim+2 more|arXiv (Cornell University)|Mar 3, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了一种鲁棒密度估计（RDE）方法，用于在无需对抗训练数据或攻击特定假设的情况下，检测文本分类中的词级对抗样本。通过利用核主成分分析（kernel PCA）和最小协方差确定法（Minimum Covariance Determinant, MCD）在基于 BERT 的特征空间中实现稳定的密度估计，RDE 在 30 个数据集-攻击-模型组合中的 29 个上实现了最先进（SOTA）的 AUC 分数，为自然语言处理中的对抗检测建立了一个强大且与攻击无关的基线。

ABSTRACT

Word-level adversarial attacks have shown success in NLP models, drastically decreasing the performance of transformer-based models in recent years. As a countermeasure, adversarial defense has been explored, but relatively few efforts have been made to detect adversarial examples. However, detecting adversarial examples may be crucial for automated tasks (e.g. review sentiment analysis) that wish to amass information about a certain population and additionally be a step towards a robust defense system. To this end, we release a dataset for four popular attack methods on four datasets and four models to encourage further research in this field. Along with it, we propose a competitive baseline based on density estimation that has the highest AUC on 29 out of 30 dataset-attack-model combinations. Source code is available in https://github.com/anoymous92874838/text-adv-detection.

研究动机与目标

• 解决自然语言处理中词级对抗样本缺乏有效且可泛化的检测方法的问题。
• 开发一种无需每类攻击都依赖对抗训练数据或验证集的检测框架。
• 建立一个用于评估在多样化数据集、模型和攻击方法之间对抗样本检测性能的基准。
• 证明在深度特征空间中进行密度估计可以有效检测语义完整、人类难以察觉的对抗扰动。
• 提供一种与模型无关、与攻击无关的基线，其在多个标准基准测试中优于现有方法。

提出的方法

• 该方法将预训练语言模型（如 BERT）的特征表示作为参数化密度估计模型的输入。
• 应用核主成分分析（kernel PCA）以降低维度，缓解高维特征空间中的维度灾难问题。
• 使用最小协方差确定法（MCD）估计鲁棒的多变量位置和散度，提升在稀疏数据和噪声特征存在下的异常值检测能力。
• 基于拟合的密度模型计算每个输入样本的似然得分，低似然值表示可能存在对抗性输入。
• 该方法完全无监督，训练或验证过程中无需任何对抗样本。
• 该方法应用于句子级输入，因此与标准文本分类流程兼容。

实验结果

研究问题

• RQ1 基于密度估计的方法是否能在不依赖对抗训练数据或攻击特定假设的情况下检测词级对抗样本？
• RQ2 与基于频率或学习的现有检测方法相比，使用核 PCA 和 MCD 的鲁棒密度估计在跨攻击和模型的泛化能力方面表现如何？
• RQ3 当面对更强的、自适应的或基于 oracle 的攻击者时，该方法的检测性能在多大程度上仍能保持？
• RQ4 该方法对超参数（如 MCD 中的支持分数 h 和主成分数量 P）的敏感性如何？
• RQ5 该方法能否检测到在语义和语法上保持完整、因而可逃避人工检查的对抗样本？

主要发现

• 所提出的 RDE 方法在 30 个数据集-攻击-模型组合中的 29 个上实现了最高的 AUC 分数，表明其在多样化设置下具有强大的泛化能力。
• 在 25 个组合中，RDE 在真正例率（TPR）和 F1 分数方面也表现最佳，证实了其鲁棒性和敏感性。
• 即使攻击者使用自适应或 oracle 级策略，该方法仍能保持较高的检测性能，尽管此类攻击变得高度可察觉（表现为语法错误和高困惑度 PPL）。
• 超参数分析表明，该方法在支持分数（h）和主成分数量（P）的广泛范围内均表现稳定，最优性能在默认设置下实现。
• 定性分析表明，较高的支持分数（h）会导致更宽的似然等高线，而使用全部样本进行估计会因异常值污染而降低检测性能。
• 随论文发布的基准数据集涵盖了四个主流文本分类数据集、四种 NLP 模型和四种词级攻击方法，为该领域提供了标准化评估的基础。