[论文解读] A Longitudinal Analysis of YouTube's Promotion of Conspiracy Videos

Marc Faddoul, Guillaume Chaslot+1 more|arXiv (Cornell University)|Mar 6, 2020

Misinformation and Its Impacts参考文献 13被引用 64

一句话总结

本论文开发了一个阴谋视频分类器，并通过對1,100+个频道进行 YouTube watch-next 仿真来量化阴谋内容被推广的频率，跟踪由政策驱动的变化，并分析长期的“过滤泡泡”效应。

ABSTRACT

Conspiracy theories have flourished on social media, raising concerns that such content is fueling the spread of disinformation, supporting extremist ideologies, and in some cases, leading to violence. Under increased scrutiny and pressure from legislators and the public, YouTube announced efforts to change their recommendation algorithms so that the most egregious conspiracy videos are demoted and demonetized. To verify this claim, we have developed a classifier for automatically determining if a video is conspiratorial (e.g., the moon landing was faked, the pyramids of Giza were built by aliens, end of the world prophecies, etc.). We coupled this classifier with an emulation of YouTube's watch-next algorithm on more than a thousand popular informational channels to obtain a year-long picture of the videos actively promoted by YouTube. We also obtained trends of the so-called filter-bubble effect for conspiracy theories.

研究动机与目标

• 评估 YouTube 的推荐算法随时间如何推广阴谋内容。
• 开发并验证一个基于文本的分类器以检测阴谋视频。
• 模拟 YouTube 的 watch-next 推荐，以量化信息性频道中暴露于阴谋内容的程度。
• 分析 YouTube 政策公告对阴谋推荐盛行程度的影响。
• 研究阴谋内容的过滤泡泡效应的存在与强度。

提出的方法

• 使用 fastText 在文本、摘录、评论和 Perspective API 特征上创建一个两层文本-视频分类器。
• 训练第一层的四个模块（文本、摘录、评论和基于 Perspective 的特征），并用逻辑回归层将它们的输出组合起来。
• 使用包含542个阴谋视频和568个非阴谋视频的训练集，通过100折交叉验证对1095个视频进行训练。
• 通过从1146个种子频道开始的种子爬取来仿真 YouTube 的 watch-next 算法（经修剪后最终为1080个种子频道），在2018年10月至2020年2月期间每日收集前1000个推荐视频。
• 使用分类器将视频标记为阴谋视频，并计算从0到1的阴谋可能性分数。
• 在340个样本外视频上评估分类器的准确性，在阈值0.5处报告精确度和召回率（分别为78%和86%）
• 分析原始与加权阴谋推荐随时间的纵向趋势，并应用非负矩阵分解以识别主题（Alternative Science and History; Prophecies and Online Cults; Political Conspiracies）。
• 通过检验源视频的阴谋可能性与其推荐的阴谋可能性之间的相关性来评估过滤泡泡效应，包括围绕政策公告的时间段。

实验结果

研究问题

• RQ1 信息性 YouTube 频道的推荐中有多少比例是阴谋内容，且随时间如何变化？
• RQ2 基于文本的分类器能否可靠地使用从字幕/标题/描述/标签、评论和 Perspective API 特征来检测阴谋视频？
• RQ3 YouTube 公布的审核/ moderated 政策变化如何影响阴谋推荐的比率？
• RQ4 在 YouTube 的推荐中是否存在可测量的阴谋内容过滤泡泡效应，且它如何演变？
• RQ5 在推荐中的阴谋内容由哪些主题主导，这些主题在研究期内如何变化？

主要发现

• 该阴谋分类器在0.5阈值下的对样本外视频的精确度为78%，召回率为86%。
• 信息性频道的原始阴谋推荐在2019年中期前达到约10%，加权推荐则达到约6%的峰值。
• 在YouTube 2019年的政策公告之后，原始阴谋推荐降至约3%的低点（2019年6月），随后有所反弹；加权频率则持续较低，但有所部分回升。
• 出现了三个主要阴谋话题：Alternative Science and History; Prophecies and Online Cults; Political Conspiracies（包括 QAnon），并报告了主题分布（例如，Alternative Science and History在阴谋集合中的原始占比为51.7%）。
• 源视频的阴谋性质与其推荐的阴谋可能性之间存在正相关，表明存在过滤泡泡效应，强度在2018年10月至2019年1月之间最强，随后减弱。
• 通过政策行动，渠道层面的阴谋内容被降低风险，一些高潜力频道被降权或从默认推荐中移除；然而，某些频道的回升表明存在部分规避或标准演变。