[논문 리뷰] Engagement, User Satisfaction, and the Amplification of Divisive Content on Social Media

Smitha Milli, Micah Carroll외 4명|arXiv (Cornell University)|2023. 05. 26.

Social Media and Politics인용 수 35

한 줄 요약

이 논문은 preregistered 무작위 실험을 통해 Twitter의 engagement-based 랭킹이 감정적으로 강하게 자극되는 외집단 적대적 콘텐츠와 양극화 효과를 증폭시키는 반면, 명시된 선호도에 따른 랭킹은 분노와 적대감을 감소시키지만 에코 챔버의 위험이 있을 수 있음을 시사한다.

ABSTRACT

In a pre-registered algorithmic audit, we found that, relative to a reverse-chronological baseline, Twitter's engagement-based ranking algorithm amplifies emotionally charged, out-group hostile content that users say makes them feel worse about their political out-group. Furthermore, we find that users do \emph{not} prefer the political tweets selected by the algorithm, suggesting that the engagement-based algorithm underperforms in satisfying users' stated preferences. Finally, we explore the implications of an alternative approach that ranks content based on users' stated preferences and find a reduction in angry, partisan, and out-group hostile content, but also a potential reinforcement of pro-attitudinal content. The evidence underscores the necessity for a more nuanced approach to content ranking that balances engagement and users' stated preferences.

연구 동기 및 목표

• 소셜 미디어에서 engagement-based 랭킹이 사회정치적 콘텐츠와 독자의 감정에 어떤 영향을 미치는지 이해를 촉진한다.
• 여섯 가지 사회정치적 결과에 대해 engagement-based 랭킹과 역연대순 피드 간의 인과적 영향을 계량화한다.
• 사용자들의 명시된 선호도에 따른 랭킹이 사용자 복지와 사회정치적 목표에 더 잘 부합하는지 탐구한다.
• engagement-based 랭킹의 대안으로서 명시된 선호도에 따른 랭킹의 잠재적 이점과 단점을 평가한다

제안 방법

• preregistered 무작위 피험자 내설계 실험(N=806)을 수행하여 Twitter의 engagement-based 타임라인과 역연대순 기준선을 비교했다.
• 두 타임라인에서 각 참가자가 보게 될 처음 열 개의 트윗을 수집하고 각 트윗에 대해 설문했다.
• 콘텐츠 및 독자 감정과 관련된 여섯 가지 사회정치적 측정치(일곱 번째로 사용자 선호도 측정 포함)로 결과를 분류하고 페어드 순열 검정으로 분석했다.
• 또한 사용자의 명시된 선호도에 의한 랭킹(SP 타임라인)이라는 세 번째 조건을 시뮬레이션하여 각 사용자당 약 스무 개의 고유 트윗을 사용해 효과를 평가했다.
• 보충 분석에서 GPT-4 라벨링으로 결과를 검증하여 질적 일관성을 보였다

Figure 1: Average treatment effects for all outcomes. ATEs are shown with 95% Bootstrap confidence intervals (unadjusted for multiple testing). The effects of two different timelines are shown: (1) Twitter’s own engagement-based timeline, (2) our exploratory timeline that ranks based on users’ state

실험 결과

연구 질문

• RQ1 RQ1: 참여도 기반 랭킹 알고리즘이 독자들 사이에서 사회정치적 결과(감정, 당파성, 그리고 외집단 적대감)에 어떤 영향을 미치는가?
• RQ2 RQ2: 참여도 기반 랭킹이 사용자가 명시적으로 제시한 콘텐츠 선호도와 일치하는가?
• RQ3 RQ3: 사용자 명시 선호도에 따른 랭킹이 사회정치적 결과에 미치는 효과는 무엇이며, 어떤 트레이드오프가 나타나는가?

주요 결과

• 참여도 기반 랭킹은 역연대순 기준선에 비해 더 편파적이고 외집단 적대적 콘텐츠를 증폭시킨다.
• 참여도 기반 트윗은 독자의 분노, 슬픔, 불안감, 외집단에 대한 부정적 인식을 증가시키는 반면, 내부집단에 대한 긍정성은 높인다.
• 참여도 기반 타임라인의 정치적 트윗은 더 높은 분노 표현과 독자 연관 분노를 보여주며(저자 감정 0.75 SD, 독자 감정 0.37 SD).
• 독자들은 전반적으로 참여 타임라인의 트윗을 더 보고 싶어하는 욕구가 조금 더 크다고 보고하지만, 참여 타임라인의 정치 트윗은 사용자 가치 측면에서 더 낮게 평가한다(−0.18 SD).
• 사용자 명시 선호도에 따른 랭킹은 참여 타임라인에 비해 분노, 슬픔, 불안, 그리고 외집단 적대감을 감소시키지만, 주로 독자 자신의 인그룹으로 향하는 외집단 콘텐츠를 줄임으로써(그들의 아웃그룹이 아니라) 에코 챔버 위험이 있을 수 있다.
• 탐색적 SP 타임라인은 engagement의 이점을 유지하면서 분열적 콘텐츠를 줄일 수 있지만, 한정된 트윗 풀과 실제 세계의 역학 때문에 트레이드오프에 대한 추가 연구가 필요하다.

Figure 2: The distribution of political tweets and out-group animosity. The graph on the left shows the distribution of political tweets in each timeline, categorized by whether they align with the reader’s in-group, out-group, or are moderate. Meanwhile, the graph on the right delineates the propor