[论文解读] Neural Word Decomposition Models for Abusive Language Detection

Sravan Bodapati, Spandana Gella+2 more|arXiv (Cornell University)|Jan 1, 2019

Hate Speech and Cyberbullying Detection参考文献 34被引用 2

一句话总结

本文研究了神经词分解模型——字符级、子词（BPE）以及词+字符混合模型——与微调后的 BERT 及预训练词嵌入在仇恨语言检测中的结合应用。结果表明，微调 BERT 在 Wikipedia 攻击和毒性数据集上实现了最先进（SOTA）的性能表现，且 BERT 的子词分词机制显著提升了基于词的模型（如 fastText 和 TextCNN）的表现，优于自定义的 BPE 模型。

ABSTRACT

User generated text on social media often suffers from a lot of undesired characteristics including hatespeech, abusive language, insults etc. that are targeted to attack or abuse a specific group of people. Often such text is written differently compared to traditional text such as news involving either explicit mention of abusive words, obfuscated words and typological errors or implicit abuse i.e., indicating or targeting negative stereotypes. Thus, processing this text poses several robustness challenges when we apply natural language processing techniques developed for traditional text. For example, using word or token based models to process such text can treat two spelling variants of a word as two different words. Following recent work, we analyze how character, subword and byte pair encoding (BPE) models can be aid some of the challenges posed by user generated text. In our work, we analyze the effectiveness of each of the above techniques, compare and contrast various word decomposition techniques when used in combination with others. We experiment with finetuning large pretrained language models, and demonstrate their robustness to domain shift by studying Wikipedia attack, toxicity and Twitter hatespeech datasets

研究动机与目标

• 为解决在嘈杂、用户生成的社交媒体文本中检测仇恨语言的挑战，包括拼写变形词汇与隐含刻板印象。
• 评估字符级、子词（BPE）以及词+字符混合模型相较于传统词基模型的有效性。
• 探究大型预训练语言模型（如 BERT）是否能在标准文本分布之外的领域（即领域偏移）下，对仇恨语言检测任务保持稳健泛化能力。
• 分析 BPE 分词（尤其是 BERT 的 WordPiece）如何提升基于词的模型在仇恨语言数据集上的表现。

提出的方法

• 在 Wikipedia 攻击和毒性数据集上微调 BERT，以评估其在领域迁移下的迁移能力与鲁棒性。
• 在将输入文本送入基于词的模型（fastText、TextCNN）之前，应用 BERT 的 WordPiece 分词对文本进行处理，以利用子词表示。
• 训练端到端的字符级模型，并与词+字符嵌入模型进行比较，以评估表示学习能力。
• 使用在 W-ATT 和 W-TOX 数据集上训练的自定义 BPE 模型，并与 BERT 的预训练 BPE 模型在子词分割上的性能进行对比。
• 在多个数据集（Twitter hate speech、Wikipedia toxicity 和 attack）上，以宏平均 F1 分数为主要评估指标。
• 对基于词的模型的失败案例以及 BERT-WordPiece 分词模型的成功案例进行定性分析，以理解子词表示的信息量。

实验结果

研究问题

• RQ1 与纯词基或字符基模型相比，通过 BPE 或 WordPiece 实现的子词级建模是否能提升仇恨语言检测的性能？
• RQ2 尽管在非仇恨、标准文本上进行预训练，微调后的 BERT 模型是否仍能在仇恨语言检测任务上实现最先进性能？
• RQ3 BERT 的预训练子词分词与在仇恨文本上训练的自定义 BPE 模型相比，在性能与子词质量方面表现如何？
• RQ4 BERT 的子词表示在多大程度上提升了 fastText 和 TextCNN 等基于词的模型的性能？
• RQ5 字符级模型是否能在检测拼写变形或噪声严重的仇恨语言方面超越子词模型？

主要发现

• 在 Wikipedia 攻击和毒性数据集上微调 BERT 可实现最先进（SOTA）的宏平均 F1 分数，表明其对领域偏移具有极强的鲁棒性。
• BERT 的 WordPiece 分词机制显著提升了基于词的模型（fastText 和 TextCNN）的性能，优于自定义 BPE 模型和标准词基模型。
• 子词模型（尤其是 BERT 的 WordPiece）优于端到端的字符基模型，表明即使在噪声文本中，词边界信息仍然具有重要价值。
• 在仇恨文本上训练的自定义 BPE 模型性能反而劣于 BERT 的预训练 BPE 模型，表明预训练的子词单元更具信息量且泛化能力更强。
• 在 TextCNN 模型中加入字符嵌入可带来轻微性能提升，但仍不及基于子词的方法。
• 定性分析证实，BERT 的 WordPiece 能够有效将仇恨词汇（如 'nlgg3r'）拆分为有意义的子词，从而实现比基于词的模型更优的检测效果。