[論文レビュー] Manipulating the Online Marketplace of Ideas

Xiaodan Lou, Alessandro Flammini+1 more|arXiv (Cornell University)|Jul 13, 2019

Misinformation and Its Impacts参考文献 76被引用数 4

ひとこと要約

本稿は、偽装アカウントがネットワークに浸透することでソーシャルメディアがどのように操作されるかをモデル化し、感傷的で誇張されたコンテンツを拡散するのとは対照的に、一定割合のユーザーを乗っ取ることがより深刻な被害をもたらすことを示している。注意容量が限られたエージェントを想定した情報拡散の計算モデルを用いて、このような浸透が全体的な情報品質を低下させることを示し、主要な脆弱性を明らかにするとともに、レジリエンス戦略を提案する。

ABSTRACT

Social media, the modern marketplace of ideas, is vulnerable to manipulation. Deceptive inauthentic actors impersonate humans to amplify misinformation and influence public opinions. Little is known about the large-scale consequences of such operations, due to the ethical challenges posed by online experiments that manipulate human behavior. Here we introduce a model of information spreading where agents prefer quality information but have limited attention. We evaluate the impact of manipulation strategies aimed at degrading the overall quality of the information ecosystem. The model reproduces empirical patterns about amplification of low-quality information. We find that infiltrating a critical fraction of the network is more damaging than generating attention-grabbing content or targeting influentials. We discuss countermeasures suggested by these insights to increase the resilience of social media users to manipulation, and legal issues arising from regulations aimed at protecting human speech from suppression by inauthentic actors.

研究の動機と目的

• ソーシャルメディアプラットフォームにおける偽装アカウントの操作が及ぼす大規模な影響を理解すること。
• 限られた注意容量と高品質な情報への好みが、誤情報の拡散にどのように影響するかをモデル化すること。
• 情報エコシステムの品質を低下させるさまざまな操作戦略の有効性を評価すること。
• 操作を可能にする社会的ネットワークの構造的脆弱性を特定すること。
• 対策手法を提起し、偽装行動を規制する法的含みを議論すること。

提案手法

• 計算モデルを用いて、注意容量が限られ、高品質なコンテンツを好むエージェントが存在するネットワークにおける情報拡散をシミュレートする。
• エージェントは品質情報への好みを持つが、注意容量の制限により、選択的に共有することになる。
• 人間の行動を模倣する偽装エージェントを導入し、低品質なコンテンツの拡散を促進する。
• 操作戦略には、注目を引くコンテンツの生成、インフルエンサーの標的化、ネットワークの一定割合への浸透が含まれる。
• 各戦略が、拡散される情報の全体的な品質に与える影響をモデルが評価する。
• 制御された条件下で、実際のソーシャルメディアで観察された低品質コンテンツの拡散パターンを再現するシミュレーションが実施された。

実験結果

リサーチクエスチョン

• RQ1 さまざまな操作戦略が、オンラインソーシャルネットワークにおける情報品質の劣化にどのように影響するか？
• RQ2 注目を引くコンテンツの生成と比較して、ネットワークの重要な部分を浸透させることの相対的影響は何か？
• RQ3 ユーザーの注意容量が制限されている場合、低品質な情報の拡散にどのように影響するか？
• RQ4 どのような構造的ネットワーク的特性が、偽装アカウントによるネットワークへの浸透を可能にするか？
• RQ5 情報エコシステムに対する操作に対抗するための対策は何か？

主な発見

• 注目を引くコンテンツを生成するのとは対照的に、ネットワークの一定割合を浸透させることは、情報品質への被害がより深刻である。
• インフルエンサーを標的とすることは、全体的な情報品質を低下させる観点で、大規模な浸透戦略に比べて効果が劣る。
• モデルは、実際のソーシャルメディアで観察された低品質コンテンツの拡散パターンをうまく再現した。
• エージェントの注意容量の制限と、高品質情報への好みは、情報エコシステムのレジリエンスを形作る重要な要因である。
• 人間の行動を模倣する浸透戦略は、情報拡散の整合性を著しく損なう。
• 研究結果から、規制的・技術的対策は、ネットワークへの浸透の検出と是正に焦点を当てるべきであると示唆される。