[논문 리뷰] The emojification of sentiment on social media: Collection and analysis of a longitudinal Twitter sentiment dataset

Wenjie Yin, Rabab Alkhalifa외 1명|arXiv (Cornell University)|2021. 08. 31.

Sentiment Analysis and Opinion Mining참고 문헌 14인용 수 4

한 줄 요약

이 논문은 2013~2020년 동안 7년에 걸쳐 수집된 184만 건이 넘는 트위터 트윗을 포함하는 대규모, 장기적, 원거리 지도 학습 기반의 트위터 감성 분석 데이터셋인 TM-Senti를 소개한다. 감성은 이모티콘과 이모지로 레이블링되었다. 데이터셋은 감성 표현에서 이모지 사용 증가 경향을 보여주며, 인터넷 아카이브 아카이브 자료를 활용해 재구성 가능한 전체 트윗 데이터를 제공함으로써 감성 분석 및 텍스트 분류 분야의 재현 가능한 연구를 지원한다.

ABSTRACT

Social media, as a means for computer-mediated communication, has been extensively used to study the sentiment expressed by users around events or topics. There is however a gap in the longitudinal study of how sentiment evolved in social media over the years. To fill this gap, we develop TM-Senti, a new large-scale, distantly supervised Twitter sentiment dataset with over 184 million tweets and covering a time period of over seven years. We describe and assess our methodology to put together a large-scale, emoticon- and emoji-based labelled sentiment analysis dataset, along with an analysis of the resulting dataset. Our analysis highlights interesting temporal changes, among others in the increasing use of emojis over emoticons. We publicly release the dataset for further research in tasks including sentiment analysis and text classification of tweets. The dataset can be fully rehydrated including tweet metadata and without missing tweets thanks to the archive of tweets publicly available on the Internet Archive, which the dataset is based on.

연구 동기 및 목표

• 사회 미디어 연구 분야에서 장기적 감성 데이터셋의 부족을 보완하기 위해, 시간에 따른 감성 변화 추적을 목적으로 한다.
• 이모티콘과 이모지를 감성 대체 지표로 사용하여 대규모, 원거리 지도 학습 기반의 트위터 감성 데이터셋을 개발하기 위해.
• 사용자 생성 콘텐츠에서 이모티콘에서 이모지로의 전환을 포함한 감성 표현의 시간적 추세를 분석하기 위해.
• 인터넷 아카이브에서 공개된 트위터 아카이브 자료를 활용하여 데이터셋의 재현 가능성을 확보하고 완전한 재구성 가능성을 보장하기 위해.
• 감성 분석, 텍스트 분류, 사회 미디어 분석 분야의 향후 연구를 지원하기 위해 개방형 데이터 공개를 통해 기여하기 위해.

제안 방법

• 데이터셋은 원거리 지도 학습 기반으로 제작되었으며, 이모티콘(`:)`, `:(`) 및 이모지(예: 😊, 😢)의 존재를 감성 지표로 삼아 트윗을 레이블링하였다.
• 184만 건이 넘는 트윗은 2013년부터 2020년까지의 기간 동안 인터넷 아카이브의 트위터 데이터셋에서 수집되었다.
• 각 트윗에 포함된 이모티콘과 이모지의 감성 극성에 기반해 감성 레이블을 할당하였으며, 이는 긍정, 부정, 중립으로 분류되었다.
• 장기적 분석 및 맥락 분석을 지원하기 위해 사용자 ID, 타임스탬프, 재트윗 여부 등의 전체 트윗 메타데이터가 포함되어 있다.
• 레이블 일관성과 데이터셋 품질을 확보하기 위해 검증 절차를 실시하였으며, 후속 버전에서 수정 사항이 적용되었다.
• 인터넷 아카이브의 아카이브 트윗 자료를 활용해 데이터셋을 완전히 재구성할 수 있으며, 이는 재현 가능성과 원본 트윗 메타데이터 접근성을 보장한다.

실험 결과

연구 질문

• RQ1 2013년부터 2020년까지 트위터 감성 표현에서 이모지와 이모티콘의 사용은 어떻게 변화해 왔는가?
• RQ2 소셜 미디어 텍스트에서 전통적인 이모티콘에 비해 이모지는 얼마나 신뢰할 수 있는 감성 지표로 기능하는가?
• RQ3 이 데이터셋 내에서 다양한 주제나 사건에 따른 감성 분포의 시간적 추세는 어떠한가?
• RQ4 이모티콘에서 이모지로의 전환은 디지털 커뮤니케이션 행동의 광범위한 변화를 어떻게 반영하는가?
• RQ5 이모지와 이모티콘을 활용한 원거리 지도 학습 접근법이 장기적 분석을 위한 신뢰성 있고 확장 가능한 감성 데이터셋을 생성할 수 있는가?

주요 결과

• 데이터셋은 184만 건이 넘는 트윗을 포함하며, 감성 레이블은 이모티콘과 이모지를 기반으로 하여 대규모 감성 분석이 가능하다.
• 7년 간의 기간 동안 이모지 사용이 이모티콘 대비 뚜렷하고 일관되게 증가하여 감성의 '이모지화' 경향을 보여준다.
• 이모지가 포함된 트윗 비율은 2013년부터 2020년까지 지속적으로 증가했고, 이모티콘 사용은 감소하여 디지털 표현 방식의 변화를 반영한다.
• 인터넷 아카이브의 트윗 아카이브 자료를 활용해 데이터셋을 완전히 재구성할 수 있으며, 재현 가능성과 원본 트윗 메타데이터 접근성이 보장된다.
• 원거리 지도 학습 기반의 레이블링 방법은 감성 분석 및 텍스트 분류 분야의 후속 작업에 적합한 신뢰성 있고 확장 가능한 데이터셋을 생성하였다.
• 버전 v1에서 v3까지의 수정 사항으로 인해 애피디녹스에 오타가 수정되었으며, v3 버전은 2025년 3월에 공개되었다.