[论文解读] Detecting state of aggression in sentences using CNN

Rodmonga Potapova, Denis Gordeev|arXiv (Cornell University)|Apr 22, 2016

Hate Speech and Cyberbullying Detection参考文献 12被引用 5

一句话总结

本文提出一种基于CNN的方法，用于检测句子中的言语攻击行为，将其与随机森林分类器在电影评论和网络论坛消息语料库上的表现进行比较。尽管CNN在情感分析任务中表现更优（准确率达81.1%），但在英语言语攻击检测任务中，随机森林的准确率更高（88.4%），表明在低资源、具有攻击性的语言环境下，特征工程可能比深度学习方法更为有效。

ABSTRACT

In this article we study verbal expression of aggression and its detection using machine learning and neural networks methods. We test our results using our corpora of messages from anonymous imageboards. We also compare Random forest classifier with convolutional neural network for "Movie reviews with one sentence per review" corpus.

研究动机与目标

• 探究深度学习模型（尤其是CNN）在检测书面文本中言语攻击行为方面的有效性。
• 比较基于CNN的模型与传统机器学习方法（随机森林）在低资源、非正式语言环境下的攻击检测性能。
• 评估预训练词嵌入与词性标注等语言学特征是否能提升攻击检测的性能。
• 分析语料特征（如词汇多样性与句子结构）对模型性能的影响。
• 确定在攻击检测任务中，是否简单模型结合人工设计特征可优于复杂深度学习架构。

提出的方法

• 采用受Kim（2014）启发的CNN-non-static模型，使用4chan和2ch.hk论坛帖子训练的word2vec词嵌入，而非预训练的Google News向量。
• 基于word2vec的特征通过计算句子嵌入与一组攻击性词语及短语之间的总和、均值、最大最小差值以及长度获得。
• 词性（POS）标签被用作语言学特征，经由独立的神经网络处理后，与CNN的输出融合以进行最终预测。
• 模型在90%的数据上进行训练，10%用于评估，未设置独立测试集，使用了英语和俄语的网络论坛消息语料库。
• 测试了一种结合CNN与POS标签特征的混合架构，但其性能并未显著优于仅使用CNN的模型。
• 随机森林模型通过人工选择的攻击性词汇表以及基于word2vec距离、句子长度和POS模式提取的特征进行训练。

实验结果

研究问题

• RQ1 与传统机器学习方法相比，基于CNN的模型在检测非正式、匿名在线消息中的言语攻击行为方面是否有效？
• RQ2 在图像板数据上训练的领域特定word2vec词嵌入是否能提升攻击检测性能，优于通用词嵌入？
• RQ3 词性标注等语言学特征在多大程度上能增强深度学习模型在攻击检测任务中的表现？
• RQ4 尽管CNN在情感分析任务中表现优异，为何其在攻击检测任务中仍不如随机森林？
• RQ5 在低资源攻击检测场景下，是否更简单的模型结合人工设计特征可优于更复杂的深度学习模型？

主要发现

• 在英语网络论坛攻击语料库上，随机森林达到88.4%的准确率，显著高于CNN-non-static模型（81.39%）和CNN-rand模型（81.17%）。
• 在电影评论语料库上，CNN-non-static模型达到81.1%的准确率，优于随机森林模型（58.39%），表明其在标准情感分析任务中表现优异。
• 在俄语攻击语料库上，CNN模型表现优于随机森林模型（66.68% vs. 59.13%），表明不同语言间模型有效性存在差异。
• 将词性标签引入CNN模型并未显著提升性能，联合模型在英语攻击语料库上的准确率仅为81.22%。
• 研究证实，Kim的CNN模型可被简化而性能不下降，支持了特征学习比模型复杂度更重要的观点。
• 人工设计的特征与手动构建的词汇表在攻击检测中取得了更优结果，表明在低资源、高攻击性语境下，领域特定的特征工程可能比端到端深度学习更有效。