[論文レビュー] Reranking partisan animosity in algorithmic social media feeds alters affective polarization

Tiziano Piccardi, Martin Saveski+4 more|arXiv (Cornell University)|Nov 22, 2024

Social Media and Politics被引用数 4

ひとこと要約

本研究では、リアルタイムのLLM駆動型フィード再ランク付けを用いて、X/Twitterにおける民主的でない態度や派閥的憎悪（AAPA）への露出が、感情的極化に与える影響を検証した。1,256名の参加者を対象に10日間の事前登録済み現.field実験を実施した結果、AAPAへの露出を減らすことで、他者グループに対する感情が著しく改善され、否定的感情が減少したが、エンゲージメント指標に変化はなく、アルゴリズム設計がユーザー行動を変えることなく極化を軽減できることを示唆した。

ABSTRACT

Today, social media platforms hold sole power to study the effects of feed ranking algorithms. We developed a platform-independent method that reranks participants' feeds in real-time and used this method to conduct a preregistered 10-day field experiment with 1,256 participants on X during the 2024 U.S. presidential campaign. Our experiment used a large language model to rerank posts that expressed antidemocratic attitudes and partisan animosity (AAPA). Decreasing or increasing AAPA exposure shifted out-party partisan animosity by two points on a 100-point feeling thermometer, with no detectable differences across party lines, providing causal evidence that exposure to AAPA content alters affective polarization. This work establishes a method to study feed algorithms without requiring platform cooperation, enabling independent evaluation of ranking interventions in naturalistic settings.

研究の動機と目的

• アルゴリズムによる民主的でない態度と派閥的憎悪（AAPA）への露出が、ソーシャルメディア上での感情的極化を引き起こすかどうかを調査すること。
• リアルタイムでコンテンツに基づくLLMを用いたフィード再ランク付けが、現実世界の環境で感情的極化を軽減できるかどうかをテストすること。
• AAPAへの露出が、感情状態およびリツイートやお気に入りなどの従来のエンゲージメント指標に与える影響を評価すること。
• 被験者が干渉の影響により、ソーシャルメディア体験に変化を感じたかどうかを評価すること。
• 干渉効果が、人種的・文化的背景や社会経済的サブグループごとに異なるかどうかを検討すること。

提案手法

• リアルタイムのソーシャルメディアコンテンツにおいて、8つのAAPAカテゴリー（民主的でない態度と派閥的憎悪）を検出するLLMベースの分類器を開発した。
• フィード再ランク付けを実行するウェブ拡張機能を実装し、分類器の出力に基づいて、参加者のX/TwitterフィードにおけるAAPAコンテンツへの露出を増加または減少させた。
• 1,256名の同意を得た参加者を対象に、10日間の事前登録済み現.field実験を実施し、AAPA露出を増加または減少させる条件に無作為に割り当てた。
• フィード内および実験終了後のアンケートを用いて、他者グループに対する感情を測定し、感情的極化を評価した。
• リツイート、お気に入り、新しい投稿／返信などのエンゲージメント指標を収集・分析し、行動的影響を評価した。
• BERTベースの埋め込みとロジスティック回帰を用いて、ユーザーがフィード体験の変化を検知できるかどうかをテストし、モデル評価には交差検証を用いた。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的フィードにおけるAAPAへの露出を減らすことで、政治的他者グループに対する感情がより肯定的になるか？
• RQ2 AAPAコンテンツへの露出を増やすことで、怒りや悲しみなどの否定的感情状態が顕著に増加するか？
• RQ3 AAPA露出の変化が、X/Twitterにおける従来のエンゲージメント指標（リツイートやお気に入り）に顕著な影響を及ぼすか？
• RQ4 治療群とコントロール群の間で、ユーザーがTwitter体験に変化を感じたかどうかに顕著な差があるか？
• RQ5 AAPA露出の効果が、人種的・文化的背景や社会経済的サブグループごとに異なるか？

主な発見

• ソーシャルメディアのフィードにおけるAAPAへの露出を減らすことで、政治的他者グループに対する感情が著しく温かくなった。フィード内感情的極化測定値における処置効果はβ = 0.18（95％信頼区間[0.08, 0.28]）であった。
• AAPAコンテンツへの露出を増加させた参加者からは、他者グループに対する感情が著しく冷たくなった。フィード内感情的極化測定値における処置効果はβ = -0.16（95％信頼区間[-0.26, -0.06]）であった。
• 高いAAPA露出を受けた参加者は、フィード内アンケートで怒りや悲しみを含む否定的感情が顕著に増加したと報告した。
• エンゲージメント指標に有意な変化は認められなかった。露出を増加させたグループではお気に入り率がわずかに0.14％上昇（p = 0.796）し、露出を減少させたグループでは0.29％低下（p = 0.43）した。
• 新しい投稿や返信の数についても、治療群とコントロール群の間に有意な差は認められなかった。
• 参加者の多くは干渉を検知できなかった。10.3％がポジティブな体験を報告したが、4.1％が政治的コンテンツの増加に気づいた（均等に分布）し、2.8％がパフォーマンスの遅延を報告した。分類モデルは実験条件を予測する際、F1スコア50.5％にとどまり、明確な知覚信号はなかった。