[논문 리뷰] #TulsaFlop: A Case Study of Algorithmically-Influenced Collective Action on TikTok

Jack Bandy, Nicholas Diakopoulos|arXiv (Cornell University)|2020. 12. 14.

Social Media and Politics참고 문헌 20인용 수 34

한 줄 요약

본 논문은 TikTok의 추천 알고리즘이 Tulsa 관련 행동 촉구 영상의 가시성을 증가시켰는지 분석하고, 전체적으로 더 높은 노출을 보였으나 engagement 요인을 통제한 후 Tulsa 영상에 대한 추가적인 통계적으로 유의미한 상승은 나타나지 않았다.

ABSTRACT

When a re-election rally for the U.S. president drew smaller crowds than expected in Tulsa, Oklahoma, many people attributed the low turnout to collective action organized by TikTok users. Motivated by TikTok's surge in popularity and its growing sociopolitical implications, this work explores the role of TikTok's recommender algorithm in amplifying call-to-action videos that promoted collective action against the Tulsa rally. We analyze call-to-action videos from more than 600 TikTok users and compare the visibility (i.e. play count) of these videos with other videos published by the same users. Evidence suggests that Tulsa-related videos generally received more plays, and in some cases the amplification was dramatic. For example, one user's call-to-action video was played over 2 million times, but no other video by the user exceeded 100,000 plays, and the user had fewer than 20,000 followers. Statistical modeling suggests that the increased play count is explained by increased engagement rather than any systematic amplification of call-to-action videos. We conclude by discussing the implications of recommender algorithms amplifying sociopolitical messages, and motivate several promising areas for future work.

연구 동기 및 목표

• TikTok의 For You 알고리즘이 Tulsa 관련 행동 촉구 영상의 가시성을 높였는지 조사한다.
• Engagement 지표와 사용자 특성이 TikTok에서 영상의 가시성과 어떤 관계가 있는지 이해한다.
• Tulsa 관련 영상이 Engagement 주도 효과를 넘어 체계적으로 확대되었는지 평가한다.
• 추천 시스템의 알고리즘 점검 및 사회정치적 영향력에 대한 보다 넓은 담론에 기여한다.

제안 방법

• Seed 영상 및 TikTok API를 사용하여 Tulsa 관련 행동 촉구 영상의 seed-and-snowball 데이터셋을 616명 사용자(619개 영상)에서 구성; 기준 비교를 위해 80,682개 영상으로 확장한다.
• 권장 내 자동재생으로 인한 알고리즘 가시성을 영상 재생 수를 대리 변수로 삼아 분석하고, 참여 지표(likes, comments, shares) 및 팔로워 수와의 관계를 분석한다.
• 비모수적 분석(Spearman 상관, Wilcoxon 부호순위 검정)을 수행하여 가시성 패턴과 사용자별 효과를 평가한다.
• 영상 길이, 좋아요 수, 댓글 수, 공유 수, 팔로워 수, Tulsa 관련 여부를 독립변수로 하는 음의 이항 회귀를 적합하고 다중공선성을 고려하여 사건 비율 비를 해석한다.
• 동일 사용자로부터 Tulsa 영상과 비 Tulsa 영상의 가시성을 비교하여 사용자 수준 요인을 통제한다.

실험 결과

연구 질문

• RQ1 TikTok의 추천 알고리즘이 Tulsa 모임 촉구 영상의 가시성을 얼마나 증가시켰는가?
• RQ2 Engagement 신호와 작성자 특성이 TikTok에서 영상의 가시성과 어떤 관계가 있는가?
• RQ3 다른 요인을 통제했을 때 Tulsa 관련 영상이 같은 사용자의 다른 영상들보다 체계적으로 확대되는가?

주요 결과

Variable	Incident Rate Ratio
Video Length	0.98890***
Like Count	1.00012***
Comment Count	1.00212***
Share Count	0.99967***
Follower Count	1.00001***
Tulsa Video	1.00633
Pseudo-R² (Cragg-Uhler)	0.66949

• Tulsa 관련 영상은 일반적으로 다른 영상보다 재생 수가 더 높은 경향이 있었고, 일부 사용자의 영상에서 극적인 확대 사례가 나타났다.
• 9%의 사용자에 대해 Tulsa 영상이 그들의 최다 재생 영상이었고, 일부 사례에서 Tulsa 영상은 200만 회 이상 재생되었지만 다른 영상은 10만 회 미만인 경우도 있었다.
• 재생 수와 좋아요 수 사이에 강한 상관관계가 있었고(ρ = 0.86), 팔로워 수와의 상관관계는 보통으로 나타났다(ρ = 0.48); engagement(좋아요, 댓글, 공유) 지표는 팔로워 수보다 재생 수와 더 큰 관련이 있었다.
• Wilcoxon 검정을 통해 Tulsa 영상이 미디언 영상에 비해 재생 수, 좋아요, 댓글, 공유가 더 높은 방향으로 이동한다는 것을 확인했다(p < 0.001).
• 음의 이항 모델은 다른 요인들과 engagement 지표를 통제한 상태에서 Tulsa 영상이 재생 수에 독립적으로 통계적으로 유의미한 효과를 가지지 않는 것으로 나타났고, 영상 길이가 길고 engagement 신호가 높을수록 재생 수가 더 많았으며 Tulsa 지표 자체는 유의미하지 않았다.
• 모형의 Cragg-Uhler 의사 결정계수(Pseudo-R²)가 0.66949로 양호한 적합도를 보였고, 여러 예측 변수가 영상 가시성을 설명한다.