[论文解读] But Who Protects the Moderators? The Case of Crowdsourced Image Moderation

Brandon Dang, Martin Riedl+1 more|arXiv (Cornell University)|Apr 29, 2018

Hate Speech and Cyberbullying Detection参考文献 29被引用 26

一句话总结

本研究调查了对令人反感的图像进行模糊处理是否能在保持审核准确性的前提下减轻内容审核人员的心理伤害。通过亚马逊机械 Turk（AMT）平台，研究人员测试了不同模糊程度（σ = 0, 7, 14）以及交互式去模糊工具，发现适度模糊可在保持分类准确性的同时减轻情绪困扰，且审核人员对图像揭示的控制权提升可改善可用性与心理健康状况。

ABSTRACT

Though detection systems have been developed to identify obscene content such as pornography and violence, artificial intelligence is simply not good enough to fully automate this task yet. Due to the need for manual verification, social media companies may hire internal reviewers, contract specialized workers from third parties, or outsource to online labor markets for the purpose of commercial content moderation. These content moderators are often fully exposed to extreme content and may suffer lasting psychological and emotional damage. In this work, we aim to alleviate this problem by investigating the following question: How can we reveal the minimum amount of information to a human reviewer such that an objectionable image can still be correctly identified? We design and conduct experiments in which blurred graphic and non-graphic images are filtered by human moderators on Amazon Mechanical Turk (AMT). We observe how obfuscation affects the moderation experience with respect to image classification accuracy, interface usability, and worker emotional well-being.

研究动机与目标

• 减轻内容审核人员因接触网络上的血腥内容而遭受的心理伤害。
• 探究通过图像模糊化减少视觉信息暴露，是否能保持审核的准确性。
• 评估交互式去模糊工具对审核人员控制权、可用性及情绪健康的影响。
• 评估社会人口学因素（如性别、种族、年龄）对审核表现与情绪反应的影响。
• 设计一种在保障内容审核准确性的同时，改善人工审核人员工作条件的系统。

提出的方法

• 在亚马逊机械 Turk（AMT）平台上开展实验，共六个阶段：未模糊基线、σ = 7 和 σ = 14 的高斯模糊，以及三个包含交互式去模糊功能的阶段。
• 采用标准差 σ ∈ {0, 7, 14} 的高斯模糊，逐步减少视觉细节，同时保持图像可识别性。
• 实现三种交互式去模糊机制：点击显示、悬停临时去模糊，以及可动态调节模糊程度的滑动条。
• 收集分类准确率、情绪状态调查反馈，以及基于 SPANE、PANAS 和 TAM 指标的情绪与可用性感知数据。
• 通过标准化问卷测量积极/消极情绪、情绪衰竭感，以及对界面的有用性与易用性感知。
• 研究设计获得 IRB 批准（编号：2018-01-0004），以确保人类受试研究符合伦理标准。

实验结果

研究问题

• RQ1 随着图像模糊程度的提高，AMT 上人工内容审核的准确性如何变化？
• RQ2 交互式去模糊工具（点击、悬停、滑动条）如何影响审核准确率与审核人员的控制感？
• RQ3 图像遮蔽对审核人员情绪健康及感知到的情绪衰竭感有何影响？
• RQ4 性别、种族、年龄等人口统计因素如何影响审核表现与情绪反应？
• RQ5 审核人员在多大程度上认为模糊界面具有实用性和易用性？

主要发现

• 适度模糊（σ = 14）在识别令人反感内容方面保持了高分类准确率，表明正确审核决策并不要求保留大量视觉细节。
• 交互式去模糊功能（点击、悬停、滑动条）使审核人员在减少初始接触血腥内容的同时，仍能保持高准确率。
• 与未模糊图像相比，审核人员在接触模糊图像时报告了更低的消极情绪与情绪衰竭感，尤其在 σ = 14 时更为明显，表明心理状态得到改善。
• 随着去模糊工具的引入，审核人员对界面的有用性与易用性感知显著提升，表明对视觉暴露的控制权增强了可用性。
• 调查数据显示，若该任务为全职工作，审核人员预期将面临更高的情绪衰竭感，凸显了未经过滤内容审核的心理负担。
• 本研究证明，通过模糊化减少视觉信息，并辅以用户可控的去模糊机制，是一种在不牺牲审核质量的前提下保护审核人员的可行策略。