[논문 리뷰] Retweet-BERT: Political Leaning Detection Using Language Features and Information Diffusion on Social Networks

Julie Jiang, Xiang Ren외 1명|arXiv (Cornell University)|2022. 07. 18.

Misinformation and Its Impacts인용 수 7

한 줄 요약

Retweet-BERT는 BERT 기반의 임베딩과 재트윗 네트워크 구조를 결합하여 정치적 성향을 예측하는 확장성 있고 비지도 학습 모델로, 최근 두 데이터셋에서 매크로-F1이 96–97%에 이를 수 있었으며, 코로나19 논의 기간 동안 더 강한 이분화 효과를 보이는 비대칭적 에코 챔버 효과를 드러냈다.

ABSTRACT

Estimating the political leanings of social media users is a challenging and ever more pressing problem given the increase in social media consumption. We introduce Retweet-BERT, a simple and scalable model to estimate the political leanings of Twitter users. Retweet-BERT leverages the retweet network structure and the language used in users' profile descriptions. Our assumptions stem from patterns of networks and linguistics homophily among people who share similar ideologies. Retweet-BERT demonstrates competitive performance against other state-of-the-art baselines, achieving 96%-97% macro-F1 on two recent Twitter datasets (a COVID-19 dataset and a 2020 United States presidential elections dataset). We also perform manual validation to validate the performance of Retweet-BERT on users not in the training data. Finally, in a case study of COVID-19, we illustrate the presence of political echo chambers on Twitter and show that it exists primarily among right-leaning users. Our code is open-sourced and our data is publicly available.

연구 동기 및 목표

• 언어적 특징과 네트워크 특징을 활용하여 Twitter에서 정치 이념을 추정하는 확장성 있고, 애너테이션 없이 수행할 수 있는 방법을 개발하는 것.
• 정보 확산 패턴과 언어적 유사성의 상관관계가 소셜 미디어에서 정치적 극화와 어떻게 연관되어 있는지 조사하는 것.
• 2020년 미국 대선과 코로나19 패닉과 같은 고위험 이벤트 기간 동안 정치적 에코 챔버의 존재와 구조를 분석하는 것.
• 수동 평가와 사례 연구를 통해 모델의 성능을 훈련 데이터에 포함되지 않은 사용자에게도 일반화할 수 있는지 검증하는 것.
• 재현 가능성을 높이고 향후 온라인 극화에 대한 연구를 지원하기 위해 오픈소스 코드와 공개 데이터를 제공하는 것.

제안 방법

• 사용자 프로필 설명에 대해 BERT를 재학습하여 정치적 성향, 감성, 소속감을 반영하는 문맥 기반 언어 임베딩을 추출하는 것.
• 모서리가 재트윗을 나타내며, 가중치 ≥2로 설정하여 의미 있는 승인 신호를 확보하는 재트윗 네트워크를 구축하는 것.
• 프로필 데이터와 네트워크 데이터를 결합하여 공동 사용자 표현을 학습하기 위해 비지도 사전 학습을 적용하는 것.
• 해시태그와 AllSides.com에서 제공하는 미디어 편향 평가를 활용하여 히어스틱 레이블링된 소량의 데이터셋을 통해 모델을 미세조정하는 것.
• 학습된 임베딩 기반으로 정치적 성향을 분류하기 위해 하이퍼파라미터 튜닝을 수행한 로지스틱 회귀를 사용하는 것.
• 비교를 위해 node2vec과 GraphSAGE를 베이스라인 모델로 활용하며, 동일한 훈련 및 평가 프rotocol를 적용하는 것.

실험 결과

연구 질문

• RQ1 언어적 유사성과 재트윗 네트워크 구조가 함께 Twitter에서 정치적 성향 탐지 성능을 향상시킬 수 있는가?
• RQ2 최근 대규모 Twitter 데이터셋에서 Retweet-BERT는 최첨단 모델들과 비교해 어떻게 성능을 내는가?
• RQ3 에코 챔버는 어느 정도의 정도로 형성되며, 좌익과 우익 사용자 간에 비대칭적으로 나타나는가?
• RQ4 수동 평가를 통해 훈련 데이터에 포함되지 않은 사용자에게도 Retweet-BERT의 일반화 능력은 얼마나 효과적인가?
• RQ5 코로나19 패닉과 같은 고영향력 이벤트 기간 동안 정치적 극화 공동체에서 정보 확산의 패턴은 어떤가?

주요 결과

• Retweet-BERT는 코로나19 Twitter 데이터셋에서 매크로-F1이 96%이며, 2020년 미국 대선 데이터셋에서는 매크로-F1이 97%를 기록하여 최첨단 베이스라인을 능가했다.
• 모델는 뛰어난 일반화 능력을 보였으며, 수동 평가를 통해 훈련 데이터에 포함되지 않은 사용자에 대해서도 신뢰할 수 있는 성능를 유지함을 확인했다.
• 우익 사용자들은 더 강한 에코 챔버 효과를 보였으며, 더 조밀하게 군집된 재트윗 네트워크와 높은 유사성(하모니)를 보였다.
• 좌익 사용자들은 더 다양한 정보 노출을 보였으며, 이는 그들의 재트윗 네트워크에서 더 적은 구조적 고립 상태임을 시사했다.
• 정치적 에코 챔버는 특히 코로나19 논의 기간 동안 우익 사용자들 사이에서 가장 두드러지게 나타났다.
• 히어스틱으로 레이블링된 해시태그와 AllSides.com에서 제공하는 미디어 편향 평가가 인간 애너테이션 데이터 없이도 효과적인 의사 레이블링을 가능하게 했다.