[论文解读] Hostility Detection Dataset in Hindi
本文提出了一种新颖的手动标注的印地语敌意检测数据集，包含约8,200条社交媒体帖子，按四个敌意维度（虚假新闻、仇恨言论、冒犯性语言和诽谤）进行标注，并设有非敌意类别。由于各类别之间存在重叠，该数据集支持多标签标注，并作为 CONSTRAINT-2021 共享任务的一部分发布。使用 m-BERT 嵌入的基线模型在粗粒度分类中达到最高的 F1 得分 84.11%（SVM），证明其在疫情等危机情境下低资源语言 NLP 任务中的实用性。
In this paper, we present a novel hostility detection dataset in Hindi language. We collect and manually annotate ~8200 online posts. The annotated dataset covers four hostility dimensions: fake news, hate speech, offensive, and defamation posts, along with a non-hostile label. The hostile posts are also considered for multi-label tags due to a significant overlap among the hostile classes. We release this dataset as part of the CONSTRAINT-2021 shared task on hostile post detection.
研究动机与目标
- 为解决在低资源印度语言（如印地语）中缺乏大规模、多维敌意检测数据集的问题。
- 收集并手动标注约 8,200 条印地语社交媒体帖子，涵盖四种敌意维度：虚假新闻、仇恨言论、冒犯性语言和诽谤。
- 支持粗粒度（敌意 vs. 非敌意）和细粒度（多标签）分类任务，以识别敌意内容。
- 将该数据集作为 CONSTRAINT-2021 共享任务的一部分发布，以促进在低资源、紧急情境下敌意检测的研究。
- 提供基于 m-BERT 嵌入的基线模型，用于在印地语 NLP 任务中进行下游任务的基准测试。
提出的方法
- 通过从论坛、聊天室和游戏社区等多样化社交媒体平台收集约 8,200 条在线印地语帖子构建数据集。
- 每条帖子均被手动标注最多四个敌意标签（虚假、仇恨、冒犯、诽谤）和一个非敌意标签，由于语义重叠，支持多标签分类。
- 预处理步骤包括移除 URL、表情符号、非字母数字字符（句号除外）以及使用标准印地语停用词列表去除停用词。
- 使用多语言 BERT（m-BERT）模型提取句子嵌入，将最后一层的标记表示取平均以形成句子级嵌入。
- 在嵌入表示上训练了四种传统机器学习模型——SVM、逻辑回归、随机森林和多层感知机（MLP），用于粗粒度和细粒度分类任务。
- 在 SVM 和逻辑回归中对类别权重进行了平衡，以缓解数据不平衡问题，尤其是在每类约 800 个训练样本的细粒度任务中。
实验结果
研究问题
- RQ1标准机器学习模型在低资源印地语文本中检测多种敌意维度的效能如何？
- RQ2印地语中的敌意类别（如仇恨、冒犯、诽谤）在多大程度上存在重叠？这种重叠在标注过程中应如何建模？
- RQ3基于 m-BERT 的句子嵌入能否有效捕捉印地语社交媒体内容中敌意检测的语义线索？
- RQ4在印地语中，粗粒度与细粒度敌意检测之间存在多大的性能差距，特别是对代表性不足的类别而言？
- RQ5数据不平衡在细粒度敌意检测中如何影响模型性能？哪些缓解策略是有效的？
主要发现
- 该数据集包含 4,358 条敌意帖子（其中 3,834 条至少有一个标签）和 4,358 条非敌意帖子，四种子类别的分布较为均衡。
- SVM 在粗粒度分类中达到最高的 F1 得分 84.11%，优于逻辑回归（83.98%）、MLP（83.45%）和随机森林（79.79%）。
- 在细粒度分类中，SVM 在仇恨（47.49%）、冒犯（41.98%）和诽谤（43.57%）类别中均取得最佳 F1 得分。
- 逻辑回归在虚假新闻检测中表现最佳，F1 得分为 68.15%，显著优于其他模型。
- 混淆矩阵显示，模型在诽谤和虚假新闻类别上表现最弱，表明存在较高的模糊性或类别不平衡问题。
- 该数据集的多标签能力捕捉到了敌意维度之间的重叠，其中 26.7% 的敌意帖子被标注为多个类别。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。