[论文解读] KOLD: Korean Offensive Language Dataset

Younghoon Jeong, Juhyun Oh+5 more|arXiv (Cornell University)|May 23, 2022

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本论文介绍了KOLD，这是首个大规模、分层标注的韩语攻击性语言数据集，包含来自新闻和YouTube的40,429条评论，涵盖攻击性类型、目标对象及目标群体分类，并附带攻击性程度和目标项的跨度级标注。研究发现，提供上下文信息（如文章或视频标题）能显著提升模型性能——尤其在目标群体分类任务中提升13.1 F1分——并揭示了韩语攻击性语言分布与英语数据集之间的文化差异。

ABSTRACT

Recent directions for offensive language detection are hierarchical modeling, identifying the type and the target of offensive language, and interpretability with offensive span annotation and prediction. These improvements are focused on English and do not transfer well to other languages because of cultural and linguistic differences. In this paper, we present the Korean Offensive Language Dataset (KOLD) comprising 40,429 comments, which are annotated hierarchically with the type and the target of offensive language, accompanied by annotations of the corresponding text spans. We collect the comments from NAVER news and YouTube platform and provide the titles of the articles and videos as the context information for the annotation process. We use these annotated comments as training data for Korean BERT and RoBERTa models and find that they are effective at offensiveness detection, target classification, and target span detection while having room for improvement for target group classification and offensive span detection. We discover that the target group distribution differs drastically from the existing English datasets, and observe that providing the context information improves the model performance in offensiveness detection (+0.3), target classification (+1.5), and target group classification (+13.1). We publicly release the dataset and baseline models.

研究动机与目标

• 解决韩语中缺乏全面且基于文化背景的攻击性语言数据集的问题，韩语具有独特的语言和文化特征。
• 开发一种分层标注框架，以捕捉攻击性语言的类型、目标（个人/群体）及目标群体身份，实现细粒度分析。
• 通过在评论中对攻击性词项和目标词项进行跨度级标注，提升模型的可解释性。
• 研究上下文信息（如文章或视频标题）对低资源、非英语环境下攻击性语言检测模型性能的影响。
• 公开发布数据集及基线模型，以支持多语言攻击性语言检测的未来研究，并减轻自然语言处理系统中的偏见。

提出的方法

• 从NAVER新闻和YouTube收集了40,429条攻击性评论，并附带文章或视频标题作为上下文元数据。
• 设计了一套分层标注方案，标注内容包括：(1) 攻击性程度（OFF/NOT），(2) 目标类型（IND/GRP/OTH/UNT），(3) 目标群体（如种族、性别、宗教），以及(4) 攻击性词项和目标词项的跨度级标注。
• 采用多标注员标注流程，共3,124名标注员参与，通过严格指南和迭代更新确保一致性，并处理模糊案例。
• 在KOLD数据集上微调韩语BERT和RoBERTa模型，用于联合执行攻击性程度检测、目标分类和跨度检测任务。
• 通过有无上下文（标题）的对比评估模型性能，以衡量其对分类和跨度检测任务的影响。
• 开展消融研究，比较KOLD与现有英语数据集中的目标群体分布，揭示显著的语言和文化差异。

实验结果

研究问题

• RQ1 韩语中攻击性语言的目标和群体分布与现有英语攻击性语言数据集有何不同？
• RQ2 在韩语中，提供上下文信息（如文章或视频标题）在多大程度上能提升攻击性语言检测模型的性能？
• RQ3 分层标注结合跨度级标注能否提升攻击性语言检测任务中的模型可解释性和性能？
• RQ4 微调后的韩语BERT和RoBERTa模型在KOLD数据集上执行攻击性程度检测、目标分类和跨度检测的多任务学习中表现如何？
• RQ5 当前多语言模型在应用于韩语攻击性语言时存在哪些局限性？如何通过语言特定数据集加以解决？

主要发现

• 提供上下文（标题）使攻击性程度检测提升+0.3 F1，目标分类提升+1.5 F1，目标群体分类提升+13.1 F1，表明在低资源、非英语环境中上下文具有关键作用。
• KOLD中的目标群体分布与现有英语数据集存在显著差异，攻击性内容更多针对种族/民族和宗教群体，凸显了攻击性语言的文化特异性。
• KOLD数据集可有效用于微调韩语BERT和RoBERTa模型，在攻击性程度检测和目标分类任务中表现优异，但在目标群体和跨度检测方面仍有提升空间。
• 标注员常遗漏攻击性评论中的目标词项，表明模型必须依赖上下文推断目标，凸显了上下文信息的重要性。
• 研究表明，基于英语数据训练的多语言模型在韩语上的泛化能力较差，主要源于语言和文化差异，强调了构建语言特定数据集的必要性。
• 尽管标注成本高且流程复杂，KOLD中的分层、上下文感知标注框架为非英语语言中的可解释性与文化相关攻击性语言检测设立了新标准。