[论文解读] Detecting Offensive Language in Tweets Using Deep Learning

Georgios Pitsilis, Heri Ramampiaro+1 more|arXiv (Cornell University)|Jan 13, 2018

Hate Speech and Cyberbullying Detection参考文献 16被引用 146

一句话总结

基于 LSTM 的分类器集成，增添了用户历史特征，能够检测推文中的仇恨言论，在 16k 条推文的数据集上实现了最先进的 F 分数，并且在没有预训练词嵌入的情况下运行。

ABSTRACT

This paper addresses the important problem of discerning hateful content in social media. We propose a detection scheme that is an ensemble of Recurrent Neural Network (RNN) classifiers, and it incorporates various features associated with user-related information, such as the users' tendency towards racism or sexism. These data are fed as input to the above classifiers along with the word frequency vectors derived from the textual content. Our approach has been evaluated on a publicly available corpus of 16k tweets, and the results demonstrate its effectiveness in comparison to existing state of the art solutions. More specifically, our scheme can successfully distinguish racism and sexism messages from normal text, and achieve higher classification quality than current state-of-the-art algorithms.

研究动机与目标

• 推动自动化仇恨言论检测，以提高相较于人工审核的可扩展性。
• 探究将用户历史特征（倾向于 Neutral、Racism、Sexism）纳入是否能够提升分类准确性。
• 开发一个语言无关的深度学习模型，不依赖预训练词嵌入。
• 在 Twitter 数据集上评估一个 LSTM 分类器集成，并与最先进的方法进行比较。

提出的方法

• 将推文表示为词频向量（语言无关），并附加用户行为特征 tN、tR、tS。
• 使用一个由 3–5 个 LSTM 分类器组成的集成，每个分类器处理增强后的输入向量。
• 通过多数表决来组合分类器输出，若并列则选择最有把握的预测（组合决策）。
• 训练四层神经网络（嵌入/输入、LSTM、密集层、softmax），输出3类（Neutral、Racism、Sexism）。
• 使用 Moses 分词进行预处理，将推文长度限制为 30 个单词，使用 25k 词汇表，并在 Keras 中使用 ADAM 优化。
• 使用 10 折交叉验证进行评估，报告 Precision、Recall 和 F-score；每种设置进行 15 次重新运行以提高稳定性。

实验结果

研究问题

• RQ1 在作者既往发帖历史的条件下，新推文被准确分类为 Neutral、Racism 还是 Sexism 的准确度有多高？
• RQ2 将用户历史特征（tN、tR、tS）纳入对仇恨言论分类性能的影响是什么？
• RQ3 在 Twitter 数据上，LSTM 分类器的集成是否优于单个 LSTM 模型和以往方法？
• RQ4 在短文本中，是否可行的语言无关方法无需预训练嵌入来检测仇恨言论？

主要发现

方法	特征	精确度	召回率	F-分数
单一分类器 (i)	O	0.9175	0.9218	0.9196
单一分类器 (ii)	NS	0.9246	0.9273	0.9260
单一分类器 (iii)	NR	0.9232	0.9259	0.9245
单一分类器 (iv)	RS	0.9232	0.9264	0.9248
单一分类器 (v)	NRS	0.9252	0.9278	0.9265
集成 (i)	O + NRS + NR	0.9283	0.9315	0.9298
集成 (ii)	O + NRS + NS	0.9288	0.9319	0.9303
集成 (iii)	O + NRS + RS	0.9283	0.9315	0.9299
集成 (iv)	O + NS + RS	0.9277	0.9310	0.9293
集成 (v)	O + NS + NR	0.9276	0.9308	0.9292
集成 (vi)	O + RS + NR	0.9273	0.9306	0.9290
集成 (vii)	NRS + NR + RS	0.9292	0.9319	0.9306
集成 (viii)	NRS + NR + NS	0.9295	0.9321	0.9308
集成 (ix)	NRS + NS + RS	0.9294	0.9321	0.9308
集成 (x)	NS + RS + NR	0.9286	0.9314	0.9300
集成 (xi)	O + NS + RS + NR + NRS	0.9305	0.9334	0.9320

• 由三个分类器组成的集成（O + NRS + NR）达到 F-Score 0.9298（Precision 0.9283, Recall 0.9315）。
• 集成通常优于单一分类器；最佳的五分类器集成（xi）获得 F-Score 0.9320（Precision 0.9305, Recall 0.9334）。
• 单一分类器的 F-Score 约为 0.926–0.926，而集成达到约 0.930–0.932。
• 按类别结果显示 Sexism 易检测（接近完美的 Precision/Recall），Racism 较难（例如，F 约为 0.70），Neutral 也能可靠检测（F 约 0.95）。
• 使用用户行为特征（tN、tR、tS）相对于文本仅基线带来增益，表明个性化历史信息的价值。