[논문 리뷰] COVID-19 Twitter Dataset with Latent Topics, Sentiments and Emotions Attributes

Raj Kumar Gupta, Ajay Vishwanath외 1명|arXiv (Cornell University)|2020. 07. 14.

Misinformation and Its Impacts참고 문헌 23인용 수 43

한 줄 요약

이 논문은 2020년 1월~2022년 6월 기간 동안 수집된 대규모로 글로벌 대표성을 갖춘 트위터 데이터셋(252만 건)을 제시한다. 이 데이터셋은 잠재 주제, 정서 강도, 그리고 네 가지 핵심 정서(공포, 분노, 슬픔, 기쁨)에 대해 텍스트 수준의 세밀한 레이블을 포함한다. LDA를 활용한 주제 모델링과 CrystalFeel 모델을 통한 정서 및 정서 강도 평가를 통해, 패닉 관련 논의의 실시간 분석을 위한 의미 있는 속성들을 제공함으로써 공중보건, 심리학, 사회과학 분야의 다학제적 연구를 가능하게 한다.

ABSTRACT

This paper describes a large global dataset on people's discourse and responses to the COVID-19 pandemic over the Twitter platform. From 28 January 2020 to 1 June 2022, we collected and processed over 252 million Twitter posts from more than 29 million unique users using four keywords: "corona", "wuhan", "nCov" and "covid". Leveraging probabilistic topic modelling and pre-trained machine learning-based emotion recognition algorithms, we labelled each tweet with seventeen attributes, including a) ten binary attributes indicating the tweet's relevance (1) or irrelevance (0) to the top ten detected topics, b) five quantitative emotion attributes indicating the degree of intensity of the valence or sentiment (from 0: extremely negative to 1: extremely positive) and the degree of intensity of fear, anger, sadness and happiness emotions (from 0: not at all to 1: extremely intense), and c) two categorical attributes indicating the sentiment (very negative, negative, neutral or mixed, positive, very positive) and the dominant emotion (fear, anger, sadness, happiness, no specific emotion) the tweet is mainly expressing. We discuss the technical validity and report the descriptive statistics of these attributes, their temporal distribution, and geographic representation. The paper concludes with a discussion of the dataset's usage in communication, psychology, public health, economics, and epidemiology.

연구 동기 및 목표

• 코로나19 팬데믹에 관한 공적 논의를 대상으로 한 종합적이고 글로벌 대표성을 갖춘 데이터셋을 구축하기 위해.
• 팬데믹 관련 소셜미디어 데이터에서 주제, 정서, 정서 강도에 대한 공개 가능하고 세밀한 트윗 수준의 레이블이 부족한 문제를 해결하기 위해.
• 각 트윗에 대해 의미 있고 심리학적으로 유의미한 속성을 제공함으로써 다학제적 연구를 지원하기 위해.
• 국가 간 및 시간에 따른 공적 정서, 정서 경향, 주제의 변화를 분석할 수 있도록 장기적 분석을 지원하기 위해.

제안 방법

• 키워드 'corona', 'wuhan', 'nCov', 'covid' 및 이후 'vaccine' 관련 용어를 사용하여 트위터 표준 API를 통해 252만 건 이상의 영어 트윗을 수집하였다.
• 각 트윗에 대해 10개의 주요 잠재 주제를 식별하고 레이블링하기 위해 잠재 디리클레 분할(LDA)을 적용하였다.
• 사전 학습된 CrystalFeel 모델을 사용하여 공포, 분노, 슬픔, 기쁨 정서의 정서 강도(0–1) 및 강도 점수(0–1)를 예측하였다.
• 정량적 점수에서부터 정서 강도(매우 부정적에서 매우 긍정적) 및 주요 정서(공포, 분노, 슬픔, 기쁨, 특정 정서 없음)의 범주형 레이블을 생성하였다.
• 2020년 1월 28일부터 2022년 6월 1일까지 데이터 커버리지를 확장하였으며, 2021년 11월부터 8개월간의 백신 관련 콘텐츠를 포함하였다.
• 트위터 이용약관을 준수하고, 상업적 이용에 제한이 있는 CC BY-NC 2.0 라이선스를 적용하였다.

실험 결과

연구 질문

• RQ1 코로나19 팬데믹 기간 동안 다양한 국가에서 공적 정서와 정서 강도(공포, 분노, 슬픔, 기쁨)가 시간에 따라 어떻게 변화하는가?
• RQ2 트위터에서의 공적 논의에서 지배적인 잠재 주제들은 무엇이며, 공중보건 이벤트나 정책 변화에 따라 어떻게 변화하는가?
• RQ3 정서 및 정서 패턴이 전염병 역학 추세나 정부의 개입 조치와 얼마나 상관관계가 있는가?
• RQ4 다른 국가에 속한 사용자 간 정서 및 정서 프로파일은 어떻게 다름가며, 이러한 차이를 설명할 수 있는 문화적 또는 맥락적 요인은 무엇인가?
• RQ5 트윗에서 표현된 정서의 강도와 유형이 보편적인 정신 건강 추세나 행동 반응을 예측할 수 있는가?

주요 결과

• 2020년 1월 28일부터 2022년 6월 1일까지 2900만 명 이상의 고유 사용자로부터 수집된 252만 건 이상의 트윗을 포함하며, 30개의 대표 국가에 대한 완전한 커버리지를 확보하였다.
• LDA 모델은 10개의 주요 잠재 주제를 성공적으로 식별하였으며, 각 트윗은 각 주제 클러스터에 대해 이진 관련성 점수를 할당받았다.
• 정서 강도 점수는 0(매우 부정적)에서 1(매우 긍정적) 사이로 변동하였으며, 평균 값은 시간이 지남에 따라 주로 부정적이었던 상태에서 혼합 또는 긍정적인 정서로 변화하는 경향을 보였다.
• 공포, 분노, 슬픔, 기쁨 정서의 강도 점수는 0–1 척도로 정량화되어 정서 역학의 장기적 분석이 가능하게 되었다.
• 2021년 11월 3일부터 2022년 6월 1일까지 백신 관련 콘텐츠 8개월 분량이 포함되어 있어 백신 접종 확산에 대한 공적 정서 및 정서 반응 분석이 가능하다.
• 이 데이터셋은 여러 연구에 활용되었으며, 한 연구에서는 향후 중심성과 기쁨 및 분노가 관련이 있으며, 과거 중심성이 공포와 슬픔과 관련이 있음을 보여주었다.