[論文レビュー] #TulsaFlop: A Case Study of Algorithmically-Influenced Collective Action on TikTok

Jack Bandy, Nicholas Diakopoulos|arXiv (Cornell University)|Dec 14, 2020

Social Media and Politics参考文献 20被引用数 34

ひとこと要約

この論文は TikTok のレコメンドアルゴリズムが Tulsa 関連の行動喚起動画の可視性を高めたかを分析しており、エンゲージメント要因を考慮した後でも Tulsa 動画に対する追加の統計的有意なブーストは見られなかったが、全体としての可視性は高かった。

ABSTRACT

When a re-election rally for the U.S. president drew smaller crowds than expected in Tulsa, Oklahoma, many people attributed the low turnout to collective action organized by TikTok users. Motivated by TikTok's surge in popularity and its growing sociopolitical implications, this work explores the role of TikTok's recommender algorithm in amplifying call-to-action videos that promoted collective action against the Tulsa rally. We analyze call-to-action videos from more than 600 TikTok users and compare the visibility (i.e. play count) of these videos with other videos published by the same users. Evidence suggests that Tulsa-related videos generally received more plays, and in some cases the amplification was dramatic. For example, one user's call-to-action video was played over 2 million times, but no other video by the user exceeded 100,000 plays, and the user had fewer than 20,000 followers. Statistical modeling suggests that the increased play count is explained by increased engagement rather than any systematic amplification of call-to-action videos. We conclude by discussing the implications of recommender algorithms amplifying sociopolitical messages, and motivate several promising areas for future work.

研究の動機と目的

• TikTok の For You アルゴリズムが Tulsa 関連の行動喚起動画の可視性を高めたかを調査する。
• エンゲージメント指標とユーザー特徴がTikTokの動画可視性にどう関連するかを理解する。
• Tulsa 関連動画がエンゲージメント駆動効果を超える体系的な拡大を示すかを評価する。
• アルゴリズム監査とレコメンダ系の社会政治的影響に関するより広い議論へ貢献する。

提案手法

• Seed動画とTikTok API を用いた Tulsa 関連の行動喚起動画のシード・スノーボールデータセットを616ユーザー（619動画）から作成；ベースライン比較のために 80,682 動画へ拡張。
• 推奨における自動再生のため、アルゴリズムの可視性をプレイ回数を代理指標として用い、エンゲージメント指標（いいね、コメント、シェア）およびフォロワー数との関係を分析。
• 非パラメトリック分析（Spearman 相関、Wilcoxon 符号付き順位検定）を実施して可視性パターンとユーザー特異的効果を評価。
• 動画長, いいね数, コメント数, シェア数, フォロワー数, Tulsa 関連 status を説明変数とするネガティブ・ビノミアル回帰を適合させ、 multicollinearity を考慮して incident rate ratio を解釈。
• Tulsa 動画の可視性を同じユーザーの非 Tulsa 動画と比較して、ユーザー水準の要因をコントロールする。

実験結果

リサーチクエスチョン

• RQ1 TikTok のレコメンダアルゴリズムは Tulsa 集会の行動喚起動画の可視性をどの程度高めたか？
• RQ2 エンゲージメント指標と作者の特性は TikTok の動画可視性とどう関連するか？
• RQ3 Tulsa 関連動画は他の同一ユーザーの動画と比較して、他の因子をコントロールした場合に体系的な拡大を示すか？

主な発見

Variable	Incident Rate Ratio
Video Length	0.98890***
Like Count	1.00012***
Comment Count	1.00212***
Share Count	0.99967***
Follower Count	1.00001***
Tulsa Video	1.00633
Pseudo-R² (Cragg-Uhler)	0.66949

• Tulsa 関連動画は一般に他の動画より再生回数が高く、特定のユーザーで劇的な拡大が見られた。
• 9% のユーザーにとって Tulsa 動画が最も再生された動画だった；一部の事例では Tulsa 動画が 200 万回以上再生され、他の動画は 100k 未満のケースがある。
• 再生回数といいね数の強い相関（ρ = 0.86）、フォロワー数との中等度の相関（ρ = 0.48）；エンゲージメント（いいね、コメント、シェア）はフォロワー数より再生回数とより強く関連。
• Wilcoxon 検定は Tulsa 動画の再生回数、いいね、コメント、シェアが中央値動画より高まる傾向を示し（全て p < 0.001）。
• ネガティブ・ビノミアル回帰モデルは、エンゲージメント指標と他の要因を制御した場合、 Tulsa 動画が再生回数に独立した統計的有意効果を示さなかった；動画の長さとエンゲージメント指標は一般に再生回数を予測するが、Tulsa 指標自体は有意でなかった。
• モデルの Cragg-Uhler の Pseudo-R² は 0.66949 で良好な適合を示し、複数の予測因子が動画の可視性を説明している。