[论文解读] A Dictionary-based Approach to Racism Detection in Dutch Social Media

Stéphan Tulkens, Lisa Hilte+3 more|arXiv (Cornell University)|Aug 31, 2016

Natural Language Processing Techniques参考文献 9被引用 75

一句话总结

本文提出一种基于词典的方法，用于检测荷兰语社交媒体评论中的种族主义言论，结合人工构建和word2vec增强的词典，并使用支持向量机（SVM）。最佳模型在未见测试数据上的种族主义类别F值为0.46，尽管自动扩展显著增加了词典覆盖范围，但并未带来统计上显著的性能提升。

ABSTRACT

We present a dictionary-based approach to racism detection in Dutch social media comments, which were retrieved from two public Belgian social media sites likely to attract racist reactions. These comments were labeled as racist or non-racist by multiple annotators. For our approach, three discourse dictionaries were created: first, we created a dictionary by retrieving possibly racist and more neutral terms from the training data, and then augmenting these with more general words to remove some bias. A second dictionary was created through automatic expansion using a exttt{word2vec} model trained on a large corpus of general Dutch text. Finally, a third dictionary was created by manually filtering out incorrect expansions. We trained multiple Support Vector Machines, using the distribution of words over the different categories in the dictionaries as features. The best-performing model used the manually cleaned dictionary and obtained an F-score of 0.46 for the racist class on a test set consisting of unseen Dutch comments, retrieved from the same sites used for the training set. The automated expansion of the dictionary only slightly boosted the model's performance, and this increase in performance was not statistically significant. The fact that the coverage of the expanded dictionaries did increase indicates that the words that were automatically added did occur in the corpus, but were not able to meaningfully impact performance. The dictionaries, code, and the procedure for requesting the corpus are available at: https://github.com/clips/hades

研究动机与目标

• 开发一种自动化系统，用于检测荷兰语社交媒体评论中的种族主义语言，特别是那些未通过正式渠道报告的言论。
• 探究结合word2vec嵌入的基于词典的方法是否能有效分类荷兰语网络内容中的种族主义言论。
• 评估自动词典扩展对分类性能的影响，尤其与人工整理的词表进行比较。
• 探索荷兰语社交媒体言论中种族主义的语言标记，如“我们/他们”结构、刻板印象以及特定n-gram。
• 创建一个可重用、开源的荷兰语种族主义检测工具，支持未来的研究与政策工作。

提出的方法

• 创建了三个话语词典：一个基于标注的训练数据，一个使用在通用荷兰语文本上训练的word2vec模型进行扩展，一个经过人工清理以去除无关术语。
• 使用不同词典类别中的词分布特征作为输入向量，训练支持向量机（SVM）模型。
• 模型采用常识性种族主义定义，包括针对民族、国籍、宗教和文化的负面刻板印象及侮辱性言论。
• 在来自相同社交媒体来源的未见荷兰语评论测试集上，使用精确率、召回率、F值和AUC评估性能。
• 使用word2vec模型通过大型荷兰语文本语料库自动扩展初始词典，添加语义相关的术语。
• 通过人工筛选去除自动扩展过程中引入的低质量或无关术语，以提高特征的相关性。

实验结果

研究问题

• RQ1 仅使用词分布特征，基于词典的方法能否有效检测荷兰语社交媒体评论中的种族主义语言？
• RQ2 使用word2vec自动扩展人工构建的种族主义词典，是否能提升在未见数据上的分类性能？
• RQ3 “我们/他们”结构、刻板印象以及特定n-gram等语言标记在多大程度上有助于检测荷兰语网络文本中的种族主义言论？
• RQ4 为何尽管词典覆盖范围扩大，自动词典扩展仍未能提升性能？
• RQ5 当将该模型应用于反伊斯兰论坛以外的更广泛社交媒体内容时，其泛化能力如何？

主要发现

• 使用人工清理词典的最佳模型在测试集上对种族主义类别的F值达到0.46，表明具备中等但有意义的检测能力。
• 模型在测试集上的表现（F值0.46）略低于交叉验证训练数据上的表现（F值0.49），表明存在轻微过拟合或分布偏移。
• 使用word2vec的自动词典扩展使词典覆盖范围增加逾100%（从0.014%增至0.035%的语料），但F值未显著提升（0.45 vs. 0.46）。
• 覆盖范围的增加并未转化为对种族主义与非种族主义评论更好区分的能力，表明新增术语在上下文中缺乏判别力。
• 所有词典变体的AUC值均稳定在0.63，表明模型具备一致但不强的判别能力。
• 研究发现，将通用风格或内容类别的词汇类别与种族主义特定词汇列表结合，并未提升性能。