[论文解读] SWSR: A Chinese Dataset and Lexicon for Online Sexism Detection

Aiqi Jiang, Xiaohan Yang+2 more|arXiv (Cornell University)|Aug 6, 2021

Hate Speech and Cyberbullying Detection被引用 13

一句话总结

本文提出了SWSR，这是首个用于中文在线性别歧视检测的语料库和SexHateLex词典，数据来源于新浪微博，包含多粒度标签（性别歧视/非性别歧视、类别、目标类型）。该研究在该语料库上评估了最先进模型，取得了具有竞争力的性能，为中文NLP在仇恨言论检测领域建立了基准，同时突出了检测微妙和隐性性别歧视的关键挑战。

ABSTRACT

Online sexism has become an increasing concern in social media platforms as it has affected the healthy development of the Internet and can have negative effects in society. While research in the sexism detection domain is growing, most of this research focuses on English as the language and on Twitter as the platform. Our objective here is to broaden the scope of this research by considering the Chinese language on Sina Weibo. We propose the first Chinese sexism dataset -- Sina Weibo Sexism Review (SWSR) dataset --, as well as a large Chinese lexicon SexHateLex made of abusive and gender-related terms. We introduce our data collection and annotation process, and provide an exploratory analysis of the dataset characteristics to validate its quality and to show how sexism is manifested in Chinese. The SWSR dataset provides labels at different levels of granularity including (i) sexism or non-sexism, (ii) sexism category and (iii) target type, which can be exploited, among others, for building computational methods to identify and investigate finer-grained gender-related abusive language. We conduct experiments for the three sexism classification tasks making use of state-of-the-art machine learning models. Our results show competitive performance, providing a benchmark for sexism detection in the Chinese language, as well as an error analysis highlighting open challenges needing more research in Chinese NLP. The SWSR dataset and SexHateLex lexicon are publicly available.

研究动机与目标

• 为解决中文在线性别歧视检测资源匮乏的问题，特别是超越显性厌女情绪的检测。
• 构建一个全面的中文性别歧视语料库（SWSR），涵盖微博原创内容及用户评论，并包含上下文信息与元数据。
• 构建一个大规模、领域特定的中文词典（SexHateLex），收录侮辱性及与性别相关的术语，以提升检测效果。
• 支持对性别歧视类型与目标的细粒度分析，推动超越二元分类的研究。
• 利用最先进模型在中文性别歧视检测中提供基准，促进多语言与跨语言环境下的未来研究。

提出的方法

• SWSR语料库数据来源于新浪微博，包含原始微博内容、用户评论以及匿名化的用户元数据（性别、地区、关注数）。
• 采用多级标注方案：(i) 性别歧视或非性别歧视，(ii) 性别歧视类别（如敌意型、善意型），(iii) 目标类型（如女性、性别规范）。
• 从侮辱性及性别刻板印象术语中整理出大规模中文词典SexHateLex，并融入语言学与上下文特征。
• 由经过培训的标注员依据详细指南进行标注，通过标注者间一致性测量确保质量。
• 对基于Transformer的模型架构进行微调并在SWSR语料库上评估三种分类任务。
• 开展错误分析，识别在中文文本中检测隐性或微妙性别歧视形式时持续存在的挑战。

实验结果

研究问题

• RQ1 在线性别歧视在中文社交媒体中，特别是在新浪微博上，其语言模式与目标类型如何体现？
• RQ2 最先进NLP模型在具备多粒度标注的情况下，多大程度上能够检测中文中的性别歧视内容？
• RQ3 在中文中检测隐性或善意形式的性别歧视时，主要挑战是什么？这些挑战如何影响模型性能？
• RQ4 用户元数据（如性别、地区）与中文网络话语中性别歧视内容的产生之间是否存在相关性？
• RQ5 在低资源环境下，整合领域特定词典（SexHateLex）是否能提升性别歧视检测模型的性能？

主要发现

• SWSR语料库包含1,500条标注的微博内容和1,500条评论，涵盖三层次的多粒度标签：性别歧视/非性别歧视、类别、目标类型。
• SexHateLex词典包含超过1,200个与侮辱和性别偏见相关的中文术语，支持对攻击性语言的精准检测。
• 基线模型在F1分数上表现具有竞争力：二分类任务为0.78，类别分类任务为0.72，目标类型分类任务为0.69，为未来研究建立了基准。
• 错误分析显示，模型在检测善意型及间接形式的性别歧视方面仍存在持续困难，尤其在语境模糊或文化内涵复杂时。
• 语料库显示，性别歧视内容常嵌入特定文化语境的表达和性别刻板印象中，需要上下文感知的模型才能有效识别。
• 用户元数据分析表明，女性用户更可能是性别歧视言论的目标，且在表达模式上存在地区差异。