[论文解读] Identifying Different Layers of Online Misogyny

Wienke Strathern, Jürgen Pfeffer|arXiv (Cornell University)|Dec 1, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本研究提出了一种十一层分类体系，用于识别线上明确与隐性性别歧视言论，将其应用于关于艾玛·沃森的5,000条高转发量推文。研究发现，谷歌的Perspective API无法检测到隐性性别歧视，凸显了当前自动化毒性检测系统在识别性别化仇恨言论方面存在的关键漏洞。

ABSTRACT

Social media has become an everyday means of interaction and information sharing on the Internet. However, posts on social networks are often aggressive and toxic, especially when the topic is controversial or politically charged. Radicalization, extreme speech, and in particular online misogyny against women in the public eye have become alarmingly negative features of online discussions. The present study proposes a methodological approach to contribute to ongoing discussions about the multiple ways in which women, their experiences, and their choices are attacked in polarized social media responses. Based on a review of theories on and detection methods for misogyny, we present a classification scheme that incorporates eleven different explicit as well as implicit layers of online misogyny. We also apply our classes to a case study related to online aggression against Amber Heard in the context of her allegations of domestic violence against Johnny Depp. We finally evaluate the reliability of Google's Perspective API -- a standard for detecting toxic language -- for determining gender discrimination as toxicity. We show that a large part of online misogyny, especially when verbalized without expletive terms but instead more implicitly is not captured automatically.

研究动机与目标

• 开发一个全面的分类体系，用于识别明确与隐性形式的线上性别歧视。
• 考察性别歧视内容在高度极化的网络讨论中如何呈现，特别是涉及女性的高关注度案例。
• 评估自动化毒性检测工具（特别是谷歌的Perspective API）在识别性别歧视内容方面的有效性。
• 通过为人工标注者实施创伤知情实践，应对标注仇恨言论所面临的伦理挑战。
• 公开提供一个数据集和编码手册，以支持未来在自动化仇恨言论检测与内容审核方面的研究。

提出的方法

• 基于理论并结合实证研究，开发出包含十一个不同层面的线上性别歧视分类体系，涵盖明确与隐性形式。
• 收集了2019至2021年间包含@realamberheard的240,000条推文，并从中选取了最常被转发的5,000条进行人工标注。
• 使用详细的编码手册和50份预先标注的测试样本，对一名本科生标注者进行了培训与监督，以确保标注一致性。
• 将Perspective API应用于5,000条推文，评估其毒性评分，并与人工标注的性别歧视类别进行对比。
• 在标注过程中融入创伤知情指南，以保护标注者免受二次创伤性压力的影响。
• 公开发布已标注的数据集和编码手册，以支持研究的可复现性及仇恨言论检测的进一步研究。

实验结果

研究问题

• RQ1 如何系统性地将线上性别歧视划分为明确与隐性形式的独立层次？
• RQ2 谷歌的Perspective API在社交媒体话语中检测性别歧视内容（尤其是隐性形式）的成效如何？
• RQ3 在标注性别歧视内容时，人工标注面临哪些伦理挑战，又该如何缓解？
• RQ4 在高关注度的线上讨论中（如围绕艾玛·沃森家庭暴力指控的讨论），隐性性别歧视的普遍程度如何？
• RQ5 当前自动化毒性检测系统在识别性别特定仇恨言论方面存在哪些局限性？

主要发现

• 在分析的5,000条推文中，有三分之二含有性别歧视内容，其中三分之一被归类为明确性别歧视，三分之一为隐性性别歧视。
• Perspective API在有限范围内成功检测到明确性别歧视，但未能识别出大量隐性性别歧视内容。
• 网络话语中大量性别歧视语言以隐性形式表达，使用间接或依赖语境的语言，当前模型无法可靠捕捉。
• 本研究证实，像Perspective API这样的自动化系统在检测细微且具有性别针对性的仇恨言论方面仍显不足，尤其当其避开明确侮辱性词汇或粗口时。
• 研究人员强调，现有毒性检测模型可能遗漏了关键形式的性别歧视修辞，导致内容审核不充分。
• 本研究提供了证据，表明隐性性别歧视不仅普遍存在，而且被最先进的AI工具系统性地低估，呼吁改进词典和上下文敏感型模型。