[논문 리뷰] Social media emotion macroscopes reflect emotional experiences in society at large

David García, Max Pellert외 2명|arXiv (Cornell University)|2021. 07. 28.

Mental Health Research Topics참고 문헌 5인용 수 16

한 줄 요약

이 연구는 성별 보정된 텍스트 분석을 사용한 집계된 트위터 감성 지표(소셜 미디어 감성 매크로스코프)를 영국의 주간 대표 설문 조사와 비교하여 검증한다. 트위터 기반 감성 시계열과 자가 보고된 감정 간에 높은 상관관계(r = 0.69–0.81)를 보이며, 개인 사용자 초월해 집단적 감정 상태를 반영함을 확인한다. 주로 타인의 감정을 인식하는 것으로 보이는 제3인칭 언급을 통해 이루어진다.

ABSTRACT

Social media generate data on human behaviour at large scales and over long periods of time, posing a complementary approach to traditional methods in the social sciences. Millions of texts from social media can be processed with computational methods to study emotions over time and across regions. However, recent research has shown weak correlations between social media emotions and affect questionnaires at the individual level and between static regional aggregates of social media emotion and subjective well-being at the population level, questioning the validity of social media data to study emotions. Yet, to date, no research has tested the validity of social media emotion macroscopes to track the temporal evolution of emotions at the level of a whole society. Here we present a pre-registered prediction study that shows how gender-rescaled time series of Twitter emotional expression at the national level substantially correlate with aggregates of self-reported emotions in a weekly representative survey in the United Kingdom. A follow-up exploratory analysis shows a high prevalence of third-person references in emotionally-charged tweets, indicating that social media data provide a way of social sensing the emotions of others rather than just the emotional experiences of users. These results show that, despite the issues that social media have in terms of representativeness and algorithmic confounding, the combination of advanced text analysis methods with user demographic information in social media emotion macroscopes can provide measures that are informative of the general population beyond social media users.

연구 동기 및 목표

• 대규모 트위터 감성 집합 지표가 사회의 국가 수준 감정 추세를 신뢰성 있게 반영할 수 있는지 테스트하는 것.
• 소셜 미디어 데이터의 대표성과 성별 편향 문제를 해결하기 위해 감성 지표에 성별 보정을 적용하는 것.
• 소셜 미디어가 개인 감정뿐 아니라 타인의 감정을 인식하는 시각(사회적 감지)을 반영하는지 조사하는 것.
• 사전 등록된 연구 설계를 통해 시간에 따라 감성 매크로스코프의 예측 능력을 검증하는 것.
• 사전 감정 탐지 방법(사전 기반 사전)과 딥러닝 기반 감성 탐지 방법 간의 비교를 통해 인구 수준의 정서 상태를 추적하는 데서의 성능을 평가하는 것.

제안 방법

• 2019년 6월부터 2021년 6월까지의 영국 주간 YouGov 설문 조사 데이터와 비교한 사전 예측 연구로서, 트위터 기반 감성 시계열을 분석하였다.
• 15억 개의 지리적 위치가 기록된 영국 트위터 트윗에서 12개 감정을 탐지하기 위해 LIWC 기반 사전 방법과 미세조정된 RoBERTa 분류기를 사용하였다.
• 트위터에서 남성이 과도하게 차지하는 문제를 보정하기 위해 성별 보정을 적용하여 감성 지표의 인구 통계적 대표성을 향상시켰다.
• 감정 어휘를 포함한 트윗에서 제3인칭 대명사(예: they, him, she)의 사용을 추적하여 타인의 감정을 인식하는 사회적 감지 능력을 평가하였다.
• 감정 관련 트윗과 비감정 관련 트윗 간의 대명사 빈도를 비교하기 위해 카이제곱 검정을 실시하여 유의미한 차이를 확인하였다.
• 설문 조사와 트위터 감성 시계열 간 상관계수에 대해 95% 신뢰구간을 보고하여 통계적 탄력성을 확보하였다.

실험 결과

연구 질문

• RQ1 성별 보정된 트위터 감성 시계열은 대표 설문 조사로 측정된 국가 수준의 감정 추세를 예측할 수 있는가?
• RQ2 트위터 기반 감성 탐지와 설문 조사에서 보고된 감정 간 상관계수는 성별 및 감정 유형에 따라 어떻게 달라지는가?
• RQ3 감정 어휘를 포함한 트윗에서 제3인칭 언급이 얼마나 자주 나타나는가? 이는 타인의 감정을 사회적으로 인식하는지를 시사하는가?
• RQ4 최신 NLP 모델(RoBERTa 등)이 전통적인 사전 기반 방법보다 집단 수준의 정서를 더 잘 포착하는가?
• RQ5 사전에 등록된 예측 모델이 트위터 데이터를 사용해 시간에 걸쳐 일반화 가능한가? 후행적 데이터 피팅을 방지하는가?

주요 결과

• 성별 보정된 트위터 감성 시계열은 영국 설문 조사에서 자가 보고된 슬픔과 상당한 상관관계(r = 0.698)를 보이며, 집단 감정 상태를 측정하는 매크로스코프로의 타당성을 확인하였다.
• 불안에 대해서는 여성에서 r = 0.811, 남성에서 r = 0.724의 상관계수를 기록하여 설문 데이터와 강력한 일치를 보였다.
• 제3인칭 대명사는 감정 어휘를 포함한 트윗에서 유의미하게 더 자주 나타났다—예를 들어 슬픔과 관련된 트윗에서는 41.94%, 비슬픔 트윗에서는 36.07%—감정 인식의 사회적 감지 기능을 시사한다.
• 성별 보정 적용으로 인해 트위터 사용자 인구 구성의 남성 우세성에 기인한 편향이 감소하여 대표성 향상이 이루어졌다.
• 대부분의 감정 범주에서 사전 기반 방법(LIWC)이 RoBERTa보다 높은 상관계수를 기록하였으며, 특히 불안과 분노에 대해 뚜렷한 우월성을 보였다.
• ‘공포’와 ‘분노’와 같은 감정은 성별 보정 없이도 강한 상관계수(r = 0.794 및 r = 0.649)를 기록하여 신호 탐지의 강건성을 입증하였다.