[论文解读] Enhanced Offensive Language Detection Through Data Augmentation

Ruibo Liu, Guangxuan Xu+1 more|arXiv (Cornell University)|Dec 5, 2020

Hate Speech and Cyberbullying Detection参考文献 9被引用 5

一句话总结

本文提出 Dager，一种基于 GPT-2 的数据增强方法，通过利用特定类别的词汇特征生成合成的仇恨语言推文，以改善类别不平衡数据集上的分类性能。在仅使用 ICWSM-2020 数据集 1% 的训练数据时，F1 分数提升 11%，且在多种分类器上均表现出一致的性能提升，生成数据的标签保留效果良好。

ABSTRACT

Detecting offensive language on social media is an important task. The ICWSM-2020 Data Challenge Task 2 is aimed at identifying offensive content using a crowd-sourced dataset containing 100k labelled tweets. The dataset, however, suffers from class imbalance, where certain labels are extremely rare compared with other classes (e.g, the hateful class is only 5% of the data). In this work, we present Dager (Data Augmenter), a generation-based data augmentation method, that improves the performance of classification on imbalanced and low-resource data such as the offensive language dataset. Dager extracts the lexical features of a given class, and uses these features to guide the generation of a conditional generator built on GPT-2. The generated text can then be added to the training set as augmentation data. We show that applying Dager can increase the F1 score of the data challenge by 11% when we use 1% of the whole dataset for training (using BERT for classification); moreover, the generated data also preserves the original labels very well. We test Dager on four different classifiers (BERT, CNN, Bi-LSTM with attention, and Transformer), observing universal improvement on the detection, indicating our method is effective and classifier-agnostic.

研究动机与目标

• 为解决仇恨语言检测中的类别不平衡问题，特别是针对‘仇恨’等罕见标签。
• 在不依赖外部数据集或辅助训练的前提下，提升低资源与类别不平衡的文本分类性能。
• 开发一种与分类器无关的数据增强方法，以提升少数类别的模型泛化能力。
• 评估大型语言模型是否能有效生成高质量、标签保持的合成数据，用于下游 NLP 任务。

提出的方法

• Dager 使用基于 GPT-2 的条件生成器，经过微调后可基于特定仇恨语言标签生成文本。
• 从每个目标类别（如‘仇恨’）中提取词汇特征，以引导生成过程。
• 通过贝叶斯推理实现条件生成：P(xₜ|c) ∝ P(xₜ)P(c|xₜ)，其中 c 为类别标签，xₜ 为第 t 步的标记。
• 在解码过程中注入类别条件信号，引导自回归生成过程朝向目标标签。
• 将生成的样本添加到训练集中，以平衡类别分布并提升模型泛化能力。
• 该方法应用于四种分类器（BERT、CNN、Bi-LSTM 带注意力机制、Transformer），证明了其广泛适用性。

实验结果

研究问题

• RQ1 基于 GPT-2 的数据增强是否能显著提升在低资源、类别不平衡数据集上的仇恨语言检测性能？
• RQ2 生成的合成数据是否能以高保真度保留原始类别标签？
• RQ3 该数据增强方法在多种神经网络架构上是否均有效且稳健？
• RQ4 当使用合成样本增强时，性能如何随原始训练数据量的变化而变化？

主要发现

• 当仅使用 ICWSM-2020 数据集 1% 的训练数据时，Dager 相较基线将 F1 分数提升 11 个百分点。
• 即使训练数据中 70% 为合成数据，F1 分数仅下降 12.5%，表明标签保留能力极强。
• 该方法在所有四种测试分类器（BERT、CNN、Bi-LSTM 带注意力机制、Transformer）上均提升性能，证实其与分类器无关的特性。
• 在低数据场景下（如仅使用 20% 的训练数据），Dager 的相对增益最大，F1 分数最高可提升 7 个百分点。
• 该方法在生成文本中保持了高质量的语义与句法多样性，优于简单的词语替换增强技术。
• 当使用 Dager 将训练集扩充至原始数据集大小的 80% 时，F1 分数达到 0.8157，几乎与原始完整数据集的 0.8139 相当。