[论文解读] Facebook's Architecture Undermines Vaccine Misinformation Removal Efforts

David Broniatowski, Jiayan Gu+3 more|arXiv (Cornell University)|Feb 4, 2022

Misinformation and Its Impacts被引用 4

一句话总结

本研究调查了Facebook在疫苗虚假信息删除政策方面的实践，发现尽管这些政策减少了反疫苗内容的发布，但也引发了意想不到的后果：支持疫苗的内容被误删，剩余的反疫苗内容变得更加具有误导性且两极分化，且由于平台架构优先考虑社区形成，用户互动水平反弹至政策实施前的水平。结果表明，尽管采取了内容审核措施，Facebook的设计却无意中助长了疫苗虚假信息的持续传播与扩散。

ABSTRACT

Misinformation promotes distrust in science, undermines public health, and may drive civil unrest. Vaccine misinformation, in particular, has stalled efforts to overcome the COVID-19 pandemic, prompting social media platforms' attempts to reduce it. Some have questioned whether "soft" content moderation remedies -- e.g., flagging and downranking misinformation -- were successful, suggesting that the addition of "hard" content remedies -- e.g., deplatforming and content bans -- is necessary. We therefore examined whether Facebook's vaccine misinformation content removal policies were effective. Here, we show that Facebook's policies reduced the number of anti-vaccine posts but also caused several perverse effects: pro-vaccine content was also removed, engagement with remaining anti-vaccine content repeatedly recovered to pre-policy levels, and this content became more misinformative, more politically polarised, and more likely to be seen in users' newsfeeds. We explain these results as an unintended consequence of Facebook's design goal: promoting community formation. Members of communities dedicated to vaccine refusal appear to seek out misinformation from multiple sources. Community administrators make use of several channels afforded by the Facebook platform to disseminate misinformation. Our findings suggest the need to address how social media platform architecture enables community formation and mobilisation around misinformative topics when managing the spread of online content.

研究动机与目标

• 评估Facebook内容审核政策在减少疫苗虚假信息方面的有效性。
• 调查Facebook审核策略对内容可见性和用户互动产生的非预期后果。
• 研究平台架构，特别是社区形成机制，如何促成疫苗虚假信息的持续传播与扩散。
• 理解社区管理员如何利用平台功能在多个来源间传播虚假信息。

提出的方法

• 研究人员分析了2020至2021年间Facebook内容审核政策及其实施情况。
• 他们对政策实施前后反疫苗与支持疫苗内容的可见性与互动情况进行了纵向分析。
• 他们研究了反疫苗社区内的用户行为与内容模式，重点关注跨平台内容分享与平台功能的使用情况。
• 他们利用互动指标与内容分类方法，评估了内容质量、两极分化程度及算法可见性的变化。
• 他们评估了社区管理员在跨多个渠道协调传播虚假信息中的作用。
• 他们使用公开的Facebook内容与政策报告中的定性与定量数据，识别出系统性设计缺陷。

实验结果

研究问题

• RQ1 Facebook的内容审核政策在多大程度上减少了平台上的反疫苗内容数量？
• RQ2 尽管实施了政策，为何剩余反疫苗内容的互动水平仍反弹至政策实施前的水平？
• RQ3 平台架构，特别是其社区形成机制，在多大程度上促成了疫苗虚假信息的持续存在？
• RQ4 社区管理员在通过多源传播规避内容审核方面发挥了什么作用？
• RQ5 审核后剩余反疫苗内容的质量与两极分化程度发生了怎样的变化？

主要发现

• Facebook的审核政策减少了反疫苗帖子的数量，但这种减少是短暂的，互动水平反弹至政策实施前的水平。
• 支持疫苗的内容经常被错误分类并删除，表明内容审核算法存在缺陷。
• 剩余的反疫苗内容变得更加具有误导性，政治两极分化更严重，并且在用户信息流中更频繁地出现。
• 反疫苗社区积极从多个来源获取虚假信息，利用Facebook的平台功能维持内容可见性。
• 社区管理员通过使用多个渠道和跨平台发布策略，规避了内容删除，持续扩大虚假信息的传播范围。
• 平台以促进社区形成为设计目标，却无意中助长了围绕误导性话题的协调行动，从而削弱了审核政策的效果。