[논문 리뷰] Reranking partisan animosity in algorithmic social media feeds alters affective polarization

Tiziano Piccardi, Martin Saveski외 4명|arXiv (Cornell University)|2024. 11. 22.

Social Media and Politics인용 수 4

한 줄 요약

이 연구는 실시간 LLM 기반 피드 재정렬을 활용하여 X/Twitter에서 애국주의적 태도와 파벌주의적 증오(AAPA) 노출이 정서적 극화에 미치는 영향을 테스트한다. 1,256명의 참가자가 참여한 10일간의 사전 등록된 현장 실험에서, AAPA에 대한 노출을 줄이면 유저 간의 외집단에 대한 감정이 개선되고 부정적 정서가 감소했으며, 이는 사용자 행동 변화 없이도 극화를 완화시킬 수 있음을 시사한다.

ABSTRACT

Today, social media platforms hold sole power to study the effects of feed ranking algorithms. We developed a platform-independent method that reranks participants' feeds in real-time and used this method to conduct a preregistered 10-day field experiment with 1,256 participants on X during the 2024 U.S. presidential campaign. Our experiment used a large language model to rerank posts that expressed antidemocratic attitudes and partisan animosity (AAPA). Decreasing or increasing AAPA exposure shifted out-party partisan animosity by two points on a 100-point feeling thermometer, with no detectable differences across party lines, providing causal evidence that exposure to AAPA content alters affective polarization. This work establishes a method to study feed algorithms without requiring platform cooperation, enabling independent evaluation of ranking interventions in naturalistic settings.

연구 동기 및 목표

• 알고리즘적 AAPA 노출이 소셜 미디어에서 정서적 극화를 유도하는지 조사하기.
• 실시간, 콘텐츠 기반 피드 재정렬을 LLM을 활용해 현장에서 시행함으로써 정서적 극화를 줄일 수 있는지 테스트하기.
• AAPA에 대한 노출이 정서 상태와 리포스트, 좋아요 등의 전통적 참여 지표에 미치는 영향 평가하기.
• 참가자들이 간섭으로 인해 자신의 소셜 미디어 경험에 변화가 있었는지 인식하는지 평가하기.
• 인구통계나 사회경제적 하위집단 간에 간섭 효과가 다를 수 있는지 탐색하기.

제안 방법

• 실시간 소셜 미디어 콘텐츠에서 8개의 AAPA 카테고리—애국주의적 태도와 파벌주의적 증오—를 탐지하기 위해 LLM 기반 분류기 개발.
• 참가자들의 X/Twitter 피드를 분류기 출력에 따라 AAPA 콘텐츠에 대한 노출를 증가 또는 감소시키는 방식으로 재정렬하는 웹 확장 기능 구현.
• 1,256명의 동의한 참가자가 참여한 10일간의 사전 등록된 현장 실험을 실시하며, 랜덤으로 AAPA 노출 증가 또는 감소 조건에 배정.
• 피드 내 및 실험 후 설문조사를 통해 정서적 극화를 측정하여 외집단에 대한 감정 측정.
• 리포스트, 좋아요, 새 게시물/댓글 등의 참여 지표를 수집 및 분석하여 행동적 영향 평가.
• BERT 기반 임베딩과 로지스틱 회귀를 사용해 사용자가 피드 경험의 변화를 감지할 수 있는지 테스트하고, 모델 평가를 위해 교차검증 수행.

실험 결과

연구 질문

• RQ1 알고리즘 기반 소셜 미디어 피드에서 AAPA에 대한 노출을 줄이면 정치적 외집단에 대한 감정이 더 긍정적으로 변화하는가?
• RQ2 AAPA 콘텐츠에 대한 노출을 늘리면 분노와 슬픔과 같은 부정적 정서 상태가 더 심해지는가?
• RQ3 AAPA에 대한 노출 변화가 X/Twitter에서 리포스트와 좋아요와 같은 전통적 참여 지표에 유의미한 영향을 미치는가?
• RQ4 치료군과 대조군 간에 사용자가 자신의 트위터 경험에 변화가 있었는지에 대한 인식에 차이가 있는가?
• RQ5 AAPA에 대한 노출 효과가 인구통계나 사회경제적 하위집단 간에 다를 수 있는가?

주요 결과

• 소셜 미디어 피드에서 AAPA에 대한 노출을 줄이면 정치적 외집단에 대한 감정이 유의미하게 더 따뜻해졌으며, 피드 내 정서적 극화 측정에서 치료 효과는 β = 0.18 (95% 신뢰구간 [0.08, 0.28])였다.
• 더 높은 수준의 AAPA에 노출된 참가자들은 외집단에 대한 감정이 유의미하게 냉각되었으며, 피드 내 정서적 극화 측정에서 치료 효과는 β = -0.16 (95% 신뢰구간 [-0.26, -0.06])였다.
• AAPA에 더 많은 노출을 경험한 참가자들은 피드 내 설문에서 분노와 슬픔을 포함한 부정적 정서가 유의미하게 증가한 것으로 보고했다.
• 참여 지표에 유의미한 변화는 없었으며, 노출 증가 그룹의 좋아요 비율은 0.14% 증가했고(p = 0.796), 노출 감소 그룹은 0.29% 감소했으며(p = 0.43), 유의미하지 않았다.
• 새로운 게시물과 댓글 수는 치료군과 대조군 간에 유의미한 차이가 없었다.
• 참가자들은 대부분 간섭을 감지하지 못했다: 긍정적인 경험을 보고한 비율은 10.3%, 정치적 콘텐츠가 더 많다고 느낀 비율은 4.1%로 균일하게 분포했으며, 성능 저하를 보고한 비율은 2.8%였다. 분류 모델은 실험 조건을 예측하는 데 F1 스코어 50.5%에 머물러, 강한 지각 신호가 없음을 시사했다.