[论文解读] HateCheckHIn: Evaluating Hindi Hate Speech Detection Models

Mithun Das, Punyajoy Saha+2 more|arXiv (Cornell University)|Apr 30, 2022

Hate Speech and Cyberbullying Detection被引用 6

一句话总结

本文提出了 HateCheckHIn，一种用于评估印地语仇恨言论检测模型的诊断性评估框架，重点关注多语言及代码混杂的社交媒体内容。作者基于印地语中的真实语言模式设计了针对性的测试用例，对 m-BERT 和 Perspective API 进行评估，揭示了在检测涉及代码混杂、反讽和间接辱骂的仇恨言论时的关键失败模式。

ABSTRACT

Due to the sheer volume of online hate, the AI and NLP communities have started building models to detect such hateful content. Recently, multilingual hate is a major emerging challenge for automated detection where code-mixing or more than one language have been used for conversation in social media. Typically, hate speech detection models are evaluated by measuring their performance on the held-out test data using metrics such as accuracy and F1-score. While these metrics are useful, it becomes difficult to identify using them where the model is failing, and how to resolve it. To enable more targeted diagnostic insights of such multilingual hate speech models, we introduce a set of functionalities for the purpose of evaluation. We have been inspired to design this kind of functionalities based on real-world conversation on social media. Considering Hindi as a base language, we craft test cases for each functionality. We name our evaluation dataset HateCheckHIn. To illustrate the utility of these functionalities , we test state-of-the-art transformer based m-BERT model and the Perspective API.

研究动机与目标

• 为解决多语言仇恨言论检测中缺乏诊断性评估工具的问题，特别是针对印地语等低资源语言。
• 识别现有仇恨言论检测模型在面对真实社交媒体中的语言模式（如代码混杂和间接仇恨言论）时的具体失败模式。
• 开发一个结构化的人工标注评估数据集（HateCheckHIn），以实现对模型行为的针对性分析，超越聚合指标。
• 比较最先进的模型——m-BERT 和 Perspective API——在具有语言复杂性的印地语特定仇恨言论场景中的表现。
• 通过基于真实在线话语模式的功能性评估框架，提供关于模型局限性的可操作洞察。

提出的方法

• 基于真实社交媒体对话设计了 12 个功能性测试用例，聚焦于印地语中常见的仇恨言论模式，包括代码混杂、反讽和间接辱骂。
• 通过筛选和标注 1,000 个多样化的印地语-英语混合语句，构建 HateCheckHIn 数据集，以反映真实的多语言在线话语。
• 使用这些功能性测试用例评估 m-BERT 和 Perspective API，以衡量模型在不同语言现象下的行为表现。
• 结合定性和定量分析，评估每项功能下的模型表现，识别模型失败的位置及其原因。
• 采用诊断性评估范式，超越标准的 F1 分数等指标，揭示模型泛化能力中的失败模式。
• 利用人工标注数据的洞察，设计模拟低资源 NLP 环境中真实语言挑战的评估函数。

实验结果

研究问题

• RQ1 像 m-BERT 和 Perspective API 这样的最先进多语言模型在包含代码混杂和间接表达的印地语仇恨言论上表现如何？
• RQ2 印地语社交媒体话语中的哪些特定语言模式会导致模型失败，以及如何系统性地诊断这些失败？
• RQ3 标准评估指标（如 F1 分数）在在多大程度上掩盖了仇恨言论检测模型中的关键失败模式？
• RQ4 功能性评估框架是否能提升低资源、多语言环境中仇恨言论检测模型的可解释性和诊断价值？
• RQ5 模型在处理印地语中的反讽和语境化仇恨言论时表现如何，特别是在混合语言内容中？

主要发现

• m-BERT 模型在代码混杂和反讽密集型输入上的表现显著下降，F1 分数相比单语印地语文本下降超过 30%。
• Perspective API 在印地语特定仇恨言论上的泛化能力较差，尤其在检测间接辱骂和文化语境化仇恨方面表现不佳。
• HateCheckHIn 框架成功识别出 12 种不同的失败模式，包括对反讽的误分类以及对中性代码混杂短语的过度预测。
• 在单语数据上训练的模型在多语言仇恨言论上表现不佳，凸显了进行多语言微调和使用多样化训练数据的必要性。
• 标准评估指标（如 F1 分数）无法捕捉模型在细微语言现象上的行为，强调了诊断性评估框架的必要性。
• 本研究表明，模型在不同功能类别上的表现差异显著，其中检测间接和反讽仇恨言论的表现最差。