[論文レビュー] Facebook's Architecture Undermines Vaccine Misinformation Removal Efforts

David Broniatowski, Jiayan Gu+3 more|arXiv (Cornell University)|Feb 4, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

本研究は、フェイスブックのワクチンに関する誤情報削除ポリシーを調査し、反ワクチン投稿の削減に成功した一方で、予期しない結果を引き起こしたことを明らかにした。具体的には、プロワクチンコンテンツが誤って削除され、残存する反ワクチンコンテンツがより誤情報が多く、より極端化し、プラットフォームのアーキテクチャがコミュニティ形成を重視するため、参加者の関与が政策施行前と同等の水準まで回復した。結果として、フェイスブックの設計は、コンテンツモデレーションの取り組みにもかかわらず、ワクチンに関する誤情報の持続的かつ拡大する拡散を助長していることが示唆された。

ABSTRACT

Misinformation promotes distrust in science, undermines public health, and may drive civil unrest. Vaccine misinformation, in particular, has stalled efforts to overcome the COVID-19 pandemic, prompting social media platforms' attempts to reduce it. Some have questioned whether "soft" content moderation remedies -- e.g., flagging and downranking misinformation -- were successful, suggesting that the addition of "hard" content remedies -- e.g., deplatforming and content bans -- is necessary. We therefore examined whether Facebook's vaccine misinformation content removal policies were effective. Here, we show that Facebook's policies reduced the number of anti-vaccine posts but also caused several perverse effects: pro-vaccine content was also removed, engagement with remaining anti-vaccine content repeatedly recovered to pre-policy levels, and this content became more misinformative, more politically polarised, and more likely to be seen in users' newsfeeds. We explain these results as an unintended consequence of Facebook's design goal: promoting community formation. Members of communities dedicated to vaccine refusal appear to seek out misinformation from multiple sources. Community administrators make use of several channels afforded by the Facebook platform to disseminate misinformation. Our findings suggest the need to address how social media platform architecture enables community formation and mobilisation around misinformative topics when managing the spread of online content.

研究の動機と目的

• フェイスブックのコンテンツモデレーションポリシーがワクチンに関する誤情報の削減にどの程度効果的であったかを評価すること。
• フェイスブックのモデレーション戦略がコンテンツの可視性およびユーザーの関与に及ぼす予期しない影響を調査すること。
• 特にコミュニティ形成のメカニズムを含むプラットフォームアーキテクチャが、ワクチンに関する誤情報の持続的かつ拡散的拡散をどのように可能にしたかを検討すること。
• コミュニティ管理者が複数のソースを介して誤情報を拡散するためにプラットフォーム機能をどのように利用したかを理解すること。

提案手法

• 研究者たちは2020年から2021年の間に、フェイスブックのコンテンツモデレーションポリシーおよびその実施状況を分析した。
• 政策施行前後における反ワクチンおよびプロワクチンコンテンツの可視性と関与度について、縦断的分析を実施した。
• 反ワクチンコミュニティ内のユーザー行動およびコンテンツパターンを分析し、複数のソース間での共有やプラットフォーム機能の利用に焦点を当てた。
• 関与度指標とコンテンツ分類を用いて、コンテンツの質、極端化、アルゴリズムによる可視性の変化を評価した。
• コミュニティ管理者が複数のチャネルを介して誤情報の拡散を調整する役割が果たしたかを評価した。
• 公開のフェイスブックコンテンツおよび政策レポートからの定性的・定量的データを用いて、システム的な設計上の欠陥を特定した。

実験結果

リサーチクエスチョン

• RQ1 フェイスブックのコンテンツモデレーションポリシーは、プラットフォーム上での反ワクチンコンテンツの量をどの程度削減したか？
• RQ2 政策施行にもかかわらず、残存する反ワクチンコンテンツの関与がなぜ政策施行前と同等の水準まで回復したのか？
• RQ3 特にそのコミュニティ形成メカニズムを含むプラットフォームアーキテクチャが、ワクチンに関する誤情報の持続的拡散にどのように寄与したか？
• RQ4 コミュニティ管理者は、複数のソースへの拡散を活用して、どのようにコンテンツモデレーションを回避したか？
• RQ5 モデレーション後、残存する反ワクチンコンテンツの質と極端化はどのように変化したか？

主な発見

• フェイスブックのモデレーションポリシーは反ワクチン投稿の数を減らしたが、その効果は一時的であり、関与度は政策施行前の水準まで回復した。
• プロワクチンコンテンツが頻繁に誤分類され削除されたことから、コンテンツモデレーションアルゴリズムの欠陥が示された。
• 残存する反ワクチンコンテンツは、より誤情報が多く、より政治的に極端化し、モデレーション後、ユーザーのニュースフィードに表示される可能性が高くなった。
• 反ワクチンコミュニティは、複数のソースから誤情報を積極的に収集し、フェイスブックのプラットフォーム機能を活用して可視性を維持していた。
• コミュニティ管理者は複数のチャネルとクロスポスト戦略を用いてコンテンツ削除を回避し、誤情報の影響力の維持に貢献した。
• プラットフォームの設計目的がコミュニティ形成を促進することであったが、これは誤情報の主題に関する調整された動員を容易にし、モデレーションの成果を損なった。