[论文解读] An Exploration of State-of-the-art Methods for Offensive Language Detection

Harrison Uglow, Martin Zlocha+1 more|arXiv (Cornell University)|Mar 15, 2019

Hate Speech and Cyberbullying Detection参考文献 9被引用 7

一句话总结

本文在 OLID 数据集上评估了最先进的 offensive language 检测方法，比较了传统特征工程与深度学习模型的表现。结果表明，BERT 和微调后的 FastText 在性能上优于 CNN 和 LSTM 模型，其中 BERT 在任务 A（offensive language 检测）的测试集上取得了 0.786 的最高 macro F1 分数，而简单的特征融合方法也表现出色。

ABSTRACT

We provide a comprehensive investigation of different custom and off-the-shelf architectures as well as different approaches to generating feature vectors for offensive language detection. We also show that these approaches work well on small and noisy datasets such as on the Offensive Language Identification Dataset (OLID), so it should be possible to use them for other applications.

研究动机与目标

• 评估各种特征工程与深度学习方法在小规模、噪声较大的数据集（如 OLID）上进行 offensive language 检测的有效性。
• 比较传统机器学习模型（如随机森林、逻辑回归）与端到端深度学习架构（CNN、LSTM、BERT、FastText）的性能表现。
• 探究预训练词嵌入（Word2Vec、FastText）在 tweet 级 offensive language 检测任务中的泛化能力。
• 确定超参数调优与模型架构对三个子任务（offensive 分类、目标化 vs. 非目标化攻击、目标识别）性能的影响。
• 识别在低资源、噪声较大的环境下最具鲁棒性与泛化能力的 offensive language 检测模型。

提出的方法

• 使用包含三个子任务的 OLID 数据集：offensive 分类（任务 A）、目标化 vs. 非目标化攻击（任务 B）、目标识别（个体 vs. 群体）（任务 C）。
• 通过统一大小写、展开缩写、去除非字母数字字符（标点符号除外）以及将用户名/URL 替换为占位符等方式对 tweets 进行预处理。
• 基于每条 tweet 中 hate、正面和负面词汇的数量及其按 tweet 长度归一化后的版本，生成朴素的特征向量。
• 在训练数据上训练 Word2Vec 嵌入，并尝试使用平均、最大池化等聚合方法生成句子级向量。
• 实现一个包含三个并行卷积层（卷积核大小分别为 3、4、5）、最大池化、Dropout 和 Softmax 输出层的 CNN 模型，使用可学习的嵌入层。
• 构建一个与 CNN 架构相似的 LSTM 模型，但在卷积层后使用双向 LSTM 层替代最大池化，并基于验证集 F1 分数采用早停策略。
• 通过在超参数空间（学习率、训练轮数、n-gram 大小、向量维度）进行随机搜索，对 FastText 和 BERT 模型进行微调，避免使用因领域不匹配而可能产生偏差的预训练向量。
• 使用验证集和测试集上的 macro F1 分数评估模型性能，采用早停策略，并基于验证集表现选择最佳模型。

实验结果

研究问题

• RQ1 在小规模、噪声较大的数据集上，手工设计的特征向量（如词频统计）与学习得到的嵌入表示（如 Word2Vec）在 offensive language 检测中的表现如何比较？
• RQ2 传统机器学习模型（如随机森林、逻辑回归）结合人工特征，在性能上是否显著优于端到端的深度学习模型（如 CNN 和 LSTM）？
• RQ3 考虑到领域偏移问题，预训练的词嵌入（如来自维基百科的）在社交媒体文本的 offensive language 检测中效果如何？
• RQ4 在三个 offensive language 检测子任务中，哪种深度学习架构（CNN、LSTM、FastText 或 BERT）在测试集上泛化能力最强？
• RQ5 在验证数据集上进行大量超参数调优是否会导致过拟合，尤其是在训练速度快的模型（如 FastText）中？

主要发现

• BERT 在任务 A（offensive language 检测）的测试集上取得了最高的 macro F1 分数 0.786，优于所有其他模型。
• FastText 在任务 B（目标化 vs. 非目标化攻击）上取得 0.687 的 macro F1，在任务 C（目标识别）上取得 0.561 的 F1，表明其在目标化攻击检测方面表现优异。
• CNN 模型在任务 A 上的测试 F1 为 0.735，任务 B 上为 0.470，任务 C 上为 0.457，表现中等，但在任务 B 上未能有效泛化。
• LSTM 模型相比 CNN 表现较差，在任务 A 上测试 F1 为 0.753，但在任务 B 上仅为 0.330，表明其在目标化攻击子任务上学习能力不足。
• 将朴素特征（词频统计）与 Word2Vec 嵌入结合后，性能优于任一方法单独使用，其中 StackingCVClassifier 取得了最佳结果（F1 0.668）。
• FastText 在验证集上的表现优于测试集（任务 A 上 F1 0.785 vs. 0.707），表明由于在验证集上进行了大量超参数调优，存在过拟合现象。