[论文解读] Detecting Harmful Content On Online Platforms: What Platforms Need Vs. Where Research Efforts Go

Arnav Arora, Preslav Nakov+9 more|arXiv (Cornell University)|Feb 27, 2021

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文分析了在线平台内容审核需求与当前有害内容检测研究之间的错位。通过对42个平台的政策进行调查，并与arXiv上的研究进行对比，揭示出显著的不平衡现象——例如，虚假信息和政治宣传受到大量研究关注，而儿童性虐待和自残等关键问题尽管在平台中优先级极高，却远未获得足够的研究关注。

ABSTRACT

The proliferation of harmful content on online platforms is a major societal problem, which comes in many different forms including hate speech, offensive language, bullying and harassment, misinformation, spam, violence, graphic content, sexual abuse, self harm, and many other. Online platforms seek to moderate such content to limit societal harm, to comply with legislation, and to create a more inclusive environment for their users. Researchers have developed different methods for automatically detecting harmful content, often focusing on specific sub-problems or on narrow communities, as what is considered harmful often depends on the platform and on the context. We argue that there is currently a dichotomy between what types of harmful content online platforms seek to curb, and what research efforts there are to automatically detect such content. We thus survey existing methods as well as content moderation policies by online platforms in this light and we suggest directions for future work.

研究动机与目标

• 识别平台希望审核的有害内容类型与自动化检测方法研究重点之间的脱节。
• 分析42个不同类别的在线平台（包括社交媒体、游戏和互助社区）的内容审核政策。
• 通过比较arXiv论文数量与各类型有害内容被平台审核的数量，量化不同有害内容类型的研究关注度。
• 突出那些研究不足但平台高度关注的有害内容类别，尽管学术界关注度不足，但平台对此类内容的处理具有紧迫性。
• 提出未来研究方向，使学术工作更紧密契合现实平台需求以及内容审核中的技术挑战。

提出的方法

• 系统性地收集并分析了42个在线平台的社区准则，涵盖社交媒体、电商平台、视频平台和游戏社区等类别。
• 基于平台政策对有害内容类型进行分类，并将其映射到标准化的危害类别（如仇恨言论、自残、虚假信息等）。
• 收集并分析每类有害内容在arXiv上的论文数量（包括预印本），以计算研究与平台覆盖比例。
• 通过条款中的关键词分析（如使用条款和条件），识别平台特定的关注重点，并与研究趋势进行对比。
• 评估数据集的可用性和具体性，指出针对敏感内容类型的大型、隐私保护型数据集仍极为稀缺。
• 识别出若干挑战，包括对上下文的敏感性、多模态内容处理以及政策的动态变化，这些因素均阻碍了模型的泛化能力与研究的可复现性。

Figure 1: Number of policy topics covered by each platform per category.

实验结果

研究问题

• RQ1 当前自动化有害内容检测的研究工作在多大程度上与在线平台的实际内容审核优先级相一致？
• RQ2 哪些类型的有害内容尽管在平台政策中被列为优先事项，却在研究中被严重忽视？
• RQ3 不同有害内容类别中，研究论文数量与平台覆盖范围的比例如何变化？
• RQ4 哪些关键技术与数据相关障碍阻碍了研究工作满足平台在内容审核方面的需求？
• RQ5 上下文、文化及多模态因素如何影响当前检测模型在真实平台环境中的可行性？

主要发现

• 虚假信息的研究-平台覆盖比最高，达到29.40，政治宣传为19.00，表明学术界对这些领域的关注非常集中。
• 尽管对平台安全至关重要，儿童性虐待（比例：0.46）和性骚扰（比例：0.20）却受到远低于其平台优先级的研究关注。
• 危险组织（4.90）和暴力（6.38）类别的比例最高，表明研究活跃度超过平台实际覆盖范围。
• 尽管有22个平台将自残列为审核重点，但其研究-平台覆盖比仅为4.64；37个平台将欺凌/骚扰列为优先事项，但该类别的比例为7.46，仍存在显著研究缺口。
• 图像内容（比例：1.93）和人口贩卖（比例：3.53）的研究关注度远低于其在平台审核中的优先级。
• 本研究识别出若干重大挑战，包括缺乏多模态理解能力、对上下文的敏感性不足，以及缺乏针对高风险内容类型的现实世界、隐私保护型数据集。

(a) number of platform T&Cs out of 42 mentioning each topic