[论文解读] Text Data Augmentation: Towards better detection of spear-phishing emails

Mehdi Regina, Maxime Meyer+1 more|arXiv (Cornell University)|Jul 4, 2020

Spam and Phishing Detection被引用 11

一句话总结

本文提出了一种与语料库和任务无关的文本数据增强框架，用于提升鱼叉式网络钓鱼邮件的检测效果，结合了基于 BERT 的词替换、多步回译和启发式过滤。该框架通过生成多样化、语义有效的增强文本并保持标签兼容性，增强了低资源文本分类任务（包括商业电子邮件欺诈检测）中模型的泛化能力。

ABSTRACT

Text data augmentation, i.e., the creation of new textual data from an existing text, is challenging. Indeed, augmentation transformations should take into account language complexity while being relevant to the target Natural Language Processing (NLP) task (e.g., Machine Translation, Text Classification). Initially motivated by an application of Business Email Compromise (BEC) detection, we propose a corpus and task agnostic augmentation framework used as a service to augment English texts within our company. Our proposal combines different methods, utilizing BERT language model, multi-step back-translation and heuristics. We show that our augmentation framework improves performances on several text classification tasks using publicly available models and corpora as well as on a BEC detection task. We also provide a comprehensive argumentation about the limitations of our augmentation framework.

研究动机与目标

• 解决商业电子邮件欺诈（BEC）检测中标注数据有限的问题，其中 BEC 实例稀少且难以收集。
• 开发一种通用的文本增强框架，适用于多种 NLP 任务，无需任务特定的训练或微调。
• 通过生成多样化、语法正确且标签兼容的增强文本，提升低数据场景下模型的泛化能力。
• 确保增强后的文本保留语义含义，并作为原始文本的有效释义，防止数据中毒并维持任务相关性。
• 提供一个模块化、可重用的框架，可适配不同 NLP 应用，如情感分析和问题分类。

提出的方法

• 利用 BERT 嵌入识别语义相似的词替换，同时应用余弦相似度阈值以确保相关性。
• 使用中间语言进行多步回译，生成改写变体，增加多样性的同时保持语义一致性。
• 整合启发式规则以保留词性（POS）标签，并避免增强文本中出现句法不一致。
• 实施最终验证模块，过滤近似重复样本，并利用释义检测技术确保增强文本是原始输入的有效释义。
• 将所有方法整合为一个独立处理每个输入文本的流水线，实现与语料库无关的应用。
• 不使用任务特定的微调或训练；该框架作为服务运行于预训练语言模型之上。

实验结果

研究问题

• RQ1 与语料库无关的文本增强框架是否能提升低资源 NLP 任务（如 BEC 检测）中的模型泛化能力？
• RQ2 结合基于 BERT 的替换、回译和启发式规则，在多大程度上提升了增强文本的多样性与有效性？
• RQ3 验证模块在保持标签兼容性及防止增强数据中毒方面有多有效？
• RQ4 该框架的模块化设计在多大程度上可适应不同 NLP 任务，包括对风格特征敏感的任务（如作者归属）？
• RQ5 当前增强方法在离散文本空间中保持语义完整性和句法正确性方面存在哪些局限？

主要发现

• 所提出的增强框架显著提升了多个文本分类任务（包括 BEC 检测）的模型性能，且仅使用公开可用的模型和数据集。
• 在 SST-2 和 TREC-6 上的实验表明，该框架即使在非钓鱼场景下也能增强模型泛化能力，证实其广泛适用性。
• t-SNE 可视化显示，增强文本在嵌入空间中仍与原始样本保持语义接近，表明在有意义的邻域内实现了受控的多样性。
• 验证模块有效减少了近似重复的生成，并确保增强文本为原始输入的有效释义，但在词汇重叠但语义不同的情况下可能失效。
• 该框架的模块化设计允许在对风格敏感的任务（如作者归属）中排除回译模块，以优先保证风格一致性。
• 尽管效果显著，该框架在生成高度多样化的文本以及在复杂句法或语义变化下保持完美语义保真度方面仍存在局限。