[论文解读] Countering Online Hate Speech: An NLP Perspective

Mudit Chaudhary, Chandni Saxena+1 more|arXiv (Cornell University)|Sep 7, 2021

Hate Speech and Cyberbullying Detection参考文献 67被引用 10

一句话总结

本文提出了一套全面的NLP框架，用于应对在线仇恨言论，将方法分类为前瞻性（预防）和反应性（检测/干预）两类。文章识别出伦理、法律和技术方面的挑战，并为未来研究提供检查清单，以构建更可靠且尊重隐私的系统。

ABSTRACT

Online hate speech has caught everyone's attention from the news related to the COVID-19 pandemic, US elections, and worldwide protests. Online toxicity - an umbrella term for online hateful behavior, manifests itself in forms such as online hate speech. Hate speech is a deliberate attack directed towards an individual or a group motivated by the targeted entity's identity or opinions. The rising mass communication through social media further exacerbates the harmful consequences of online hate speech. While there has been significant research on hate-speech identification using Natural Language Processing (NLP), the work on utilizing NLP for prevention and intervention of online hate speech lacks relatively. This paper presents a holistic conceptual framework on hate-speech NLP countering methods along with a thorough survey on the current progress of NLP for countering online hate speech. It classifies the countering techniques based on their time of action, and identifies potential future research areas on this topic.

研究动机与目标

• 为应对在线仇恨言论日益增长的挑战，特别是在COVID-19大流行和选举等全球危机期间。
• 识别出NLP研究在前瞻性预防与干预方面（而不仅限于检测）的缺失，作为关键的研究空白。
• 提出一个概念性框架，根据行动时机（前瞻性 vs. 反应性）和伦理影响对仇恨言论应对措施进行分类。
• 强调自动化内容审核中涉及的伦理问题，如隐私侵犯、偏见以及言论自由的权衡。
• 通过提供伦理、法律和技术考量的检查清单，为未来研究提供指导，以构建负责任的NLP系统。

提出的方法

• 将仇恨言论应对措施分类为前瞻性（在发布前预防仇恨言论）和反应性（在发布后检测并干预）方法。
• 提出三角色模型：作者（内容创作者）、管理员（平台系统）和用户（观看者），以情境化干预措施。
• 引入一个概念性框架，将仇恨言论的成因（如基于身份的针对、网络匿名性）与相应的NLP技术对应起来。
• 强调使用隐私保护技术（如联邦学习）以减少前瞻性系统中的监控风险。
• 利用现有基准数据集（如Fortuna等人，2020；Qian等人，2019）来支撑检测与干预模型的构建。
• 融入受Kiritchenko等人（2020）启发的伦理检查清单，以评估NLP系统中的公平性、透明度和问责制。

实验结果

研究问题

• RQ1 如何利用NLP在仇恨言论发布前实现前瞻性预防，此类系统具有哪些伦理影响？
• RQ2 前瞻性与反应性仇恨言论应对措施在有效性、偏见和隐私影响方面有何关键差异？
• RQ3 NLP系统如何在保障言论自由与遏制有害在线内容之间取得平衡？
• RQ4 为防止监控和歧视，自动化仇恨言论检测与干预中需要哪些技术和伦理保障措施？
• RQ5 未来NLP研究如何从设计之初就将伦理考量整合到仇恨言论应对措施中？

主要发现

• 反应性方法（如发布后检测）在言论自由方面争议较小，但因延迟导致内容可见性增加，从而加剧伤害。
• 前瞻性方法（如在发布前预测仇恨言论）具有更高的伦理风险，包括隐私侵犯和基于用户人口统计特征的算法偏见。
• 仇恨言论缺乏普遍定义，使法律执行和模型训练均面临复杂性，导致结果具有高度情境依赖性和主观性。
• 内容审核员因长期暴露于血腥仇恨言论，面临严重心理健康风险，包括创伤后应激障碍（PTSD），凸显了自动化NLP解决方案的迫切需求。
• 如Facebook在2020年第一季度移除了1000万条仇恨言论，凸显了问题的规模以及对可扩展NLP驱动审核系统的需求。
• 结合前瞻性与反应性方法的混合模式——在伦理检查清单的指导下——可减少伤害，同时最小化误删或监控等非预期后果。