[论文解读] K-MHaS: A Multi-label Hate Speech Detection Dataset in Korean Online News Comment

Jean Lee, Taejun Lim+5 more|arXiv (Cornell University)|Aug 23, 2022

Hate Speech and Cyberbullying Detection被引用 10

一句话总结

K-MHaS 是一个大规模多标签仇恨言论检测数据集，包含 109,692 条韩文新闻评论，标注了 1 至 4 个重叠标签，涵盖 8 个细粒度类别，能够建模仇恨言论中的交叉性与主观性。使用子字符级分词器的 KR-BERT 模型实现了最先进性能，表明分解韩文音节可提升对仇恨言论变体的检测能力。

ABSTRACT

Online hate speech detection has become an important issue due to the growth of online content, but resources in languages other than English are extremely limited. We introduce K-MHaS, a new multi-label dataset for hate speech detection that effectively handles Korean language patterns. The dataset consists of 109k utterances from news comments and provides a multi-label classification using 1 to 4 labels, and handles subjectivity and intersectionality. We evaluate strong baseline experiments on K-MHaS using Korean-BERT-based language models with six different metrics. KR-BERT with a sub-character tokenizer outperforms others, recognizing decomposed characters in each hate speech class.

研究动机与目标

• 通过创建一个大规模、多标签的韩语数据集，解决多语言仇恨言论数据集稀缺的问题，以捕捉语言细微差别和交叉性。
• 通过支持种族、性别、政治和粗俗语等多维重叠标签，实现对韩语仇恨言论的稳健检测。
• 在反映现实世界评论动态的真实复杂仇恨言论检测基准上，评估最先进预训练语言模型在韩语中的表现。

提出的方法

• 该数据集由 2018 年 1 月至 2020 年 6 月期间收集的 109,692 条韩文在线新闻评论构建，经过预处理以规范化并过滤低质量或短句评论。
• 采用两层标注方案：(1) 二分类（仇恨言论 vs. 非仇恨言论），(2) 在包括政治、性别、宗教和粗俗语在内的 8 个类别中进行细粒度多标签分类。
• 该数据集支持每条样本 1 至 4 个标签的多标签分类，允许仇恨言论属性的重叠与交叉，以反映现实世界中的主观性。
• 对 KoELECTRA、KoBERT、Multi-BERT 和 KR-BERT 等预训练语言模型进行微调，使用子字符级分词器将韩文音节分解为音素，以提升形态敏感性。
• 评估使用六种标准多标签指标：F1-macro、F1-micro、F1-weighted、Exact Match、AUC 和 Hamming Loss，以实现全面的性能比较。
• KR-BERT 中的子字符级分词器专门设计用于处理韩语的形态句法复杂性，通过将音节分解为初声、元音和终声（例如 ㅋ, ㅗ, ㄹ），提升对俚语和形态变体的检测能力。

实验结果

研究问题

• RQ1 现有预训练语言模型在检测韩语多标签仇恨言论方面效果如何，特别是在处理重叠和交叉身份时？
• RQ2 与标准字符级或词级分词相比，子字符级分词在韩语文本仇恨言论检测中的性能提升程度如何？
• RQ3 预训练数据分布的选择（如维基百科 vs. 现代在线语料库）如何影响模型在现实世界仇恨言论检测任务中的泛化能力和性能？
• RQ4 大规模韩语仇恨言论数据集中标签分布和标签间相关性结构如何？其对模型学习与评估有何影响？

主要发现

• KoELECTRA 在全部六项评估指标中表现最佳，表明预训练数据多样性——尤其是包含 Naver 辞典和 Modu 等现代在线语料库——显著增强了模型的鲁棒性。
• 使用子字符级分词器的 KR-BERT 在前十组标签对中的六组表现优于所有其他模型，尤其在检测交叉性仇恨言论（如 'Origin & Gender'）方面表现突出，微F1达到 0.9494。
• 子字符分词器使 KR-BERT 能够将复杂的韩文音节分解为有意义的子成分（如 ㅋ, ㅗ, ㄹ），从而即使在仇恨言论形态变体与已知形式略有偏差时，也能实现有效检测。
• 在单标签分类任务中，KR-BERT-c（字符级）和 KoELECTRA 的 F1-micro 分数最高（分别为 0.8553 和 0.8490），表明其与数据分布具有较强的领域对齐性。
• Multi-BERT（多语言）与韩语专用模型如 KoELECTRA 和 KR-BERT 之间的性能差距凸显了语言特异性预训练对仇恨言论检测的优化至关重要。
• 标签对分析显示，'Politics & Profanity' 和 'Gender & Age' 等交叉类别尤其具有挑战性，其 F1-micro 分数在 0.20 至 0.30 之间，表明在建模复杂重叠身份方面仍有改进空间。