[논문 리뷰] Predicting the Topical Stance of Media and Popular Twitter Users

Peter Stefanov, Kareem Darwish외 2명|arXiv (Cornell University)|2019. 07. 02.

Media Influence and Politics참고 문헌 40인용 수 9

한 줄 요약

이 논문은 유저의 정치적 성향과 주제적 입장을 예측하기 위해 리트윗 행동을 통한 비지도 입문 검출을 먼저 수행한 후, 정황, 그래프, 그리고 볼록 임베딩을 사용한 지도 학습 분류기를 적용하는 계층적 방법을 제안한다. 이 방법은 미디어 편향 예측에서 82.6%의 정확도를 달성하며, 볼록성이 가장 효과적인 특징으로 나타났다.

ABSTRACT

Discovering the stances of media outlets and influential people on current, debatable topics is important for social statisticians and policy makers. Many supervised solutions exist for determining viewpoints, but manually annotating training data is costly. In this paper, we propose a cascaded method that uses unsupervised learning to ascertain the stance of Twitter users with respect to a polarizing topic by leveraging their retweet behavior; then, it uses supervised learning based on user labels to characterize both the general political leaning of online media and of popular Twitter users, as well as their stance with respect to the target polarizing topic. We evaluate the model by comparing its predictions to gold labels from the Media Bias/Fact Check website, achieving 82.6% accuracy.

연구 동기 및 목표

• 수동 레이블링 없이 미디어 및 영향력 있는 트위터 유저의 정치적 성향과 주제적 입장을 자동으로 추론하기 위해.
• 입문 검출 및 미디어 편향 분류의 학습 데이터를 위한 수동 애너테이션의 높은 비용 문제를 해결하기 위해.
• 극명한 주제에 대해 리트윗 행동을 사용자 입장을 대체로 활용하여 대규모 비지도 클러스터링을 가능하게 하기 위해.
• 볼록성, 그래프 임베딩, BERT 기반 정황 임베딩 등의 다수 특징을 조합하여 편향 예측 성능을 향상시키기 위해.
• Media Bias/Fact Check의 금본 레이블과 트위터 유저에 대한 수동 판단과의 비교를 통해 모델을 검증하기 위해.

제안 방법

• 극명한 주제에 대해 리트윗 행동을 분석하여 트위터 유저의 비지도 입문 검출을 수행하고, UMAP와 평균 이동 기반으로 양측 집단으로 유저를 클러스터링한다.
• 자동으로 발견된 입문 레이블을 기반으로 한 지도 학습을 통해 유저 클러스터를 확장하여 커버리지 범위를 넓힌다.
• 좌익 및 우익 성향 클러스터에서의 리트윗 비율을 기반으로 볼록성 점수를 계산하여 유저 입장을 미디어 및 트위터 인플루언서로 투영한다.
• 기사 제목 및 내용에서 추출한 BERT 임베딩, 사용자-해시태그 및 사용자-멘션 네트워크에서 유도된 그래프 임베딩, 볼록성 점수를 조합하여 지도 분류기를 훈련시킨다.
• node2vec을 사용해 그래프 임베딩을 생성하고, 트윗 및 기사 텍스트에 대해 BERT 모델을 미세조정하여 정황 표현을 추출한다.
• 모든 특징을 스태킹 모델에 통합하고, 조기 정지와 교차 검증을 적용하여 편향 예측 성능 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 리트윗 행동은 극명한 주제에 대해 트위터 유저의 정치적 입장을 신뢰성 있게 추론하는 데 사용될 수 있는가?
• RQ2 그래프 임베딩과 정황 임베딩에 비해 볼록성은 미디어 편향 예측에 얼마나 효과적인가?
• RQ3 다양한 임베딩 유형을 조합할 경우 미디어 편향 예측 정확도는 얼마나 향상되는가?
• RQ4 비지도 유저 클러스터링은 지도 학습을 통해 효과적으로 확장되어 대규모 유저 집단에 대한 입문 검출을 확장할 수 있는가?
• RQ5 Media Bias/Fact Check와 같은 독립적인 소스에서 제공하는 실제 미디어 편향 레이블에 대해 모델의 일반화 능력은 얼마나 뛰어나며?

주요 결과

• 볼록성, 그래프 임베딩(GraphM+H), 트윗, 제목, 내용 특징에서 유도된 BERT 임베딩을 조합한 경우, 모델은 미디어 편향 예측에서 82.6%의 정확도를 달성한다.
• 볼록성 점수만을 사용할 경우 75.2%의 정확도를 기록하며, 이는 개별 BERT 또는 그래프 임베딩 모델(60.6%~71.8%)보다 유의미하게 높은 성능을 보인다.
• 전체 모델에서 볼록성을 제거하면 정확도가 4.5%p 감소(78.1%로)하고 MAE가 0.078 증가하여 볼록성이 핵심 요소임을 입증한다.
• 기사 내용에 대한 BERT 임베딩을 그래프 임베딩과 볼록성과 조합하면 정확도가 80.8%까지 상승하여 상호 보완적인 정보 기여를 확인한다.
• 그래프 임베딩만 사용할 경우 볼록성보다 성능이 열 劣하나, 볼록성과 BERT와 함께 조합하면 성능을 최대 11%p 향상시킨다.
• 모델의 성능은 영향력 있는 트위터 유저에 대해 수동 판단과 비교하여 검증되었으며, 이는 인플루언서 입문 검출에 있어 신뢰성 있음을 확인한다.