[논문 리뷰] Exploring Emoji Usage and Prediction Through a Temporal Variation Lens

Francesco Barbieri, Luís Marujo외 3명|arXiv (Cornell University)|2018. 05. 02.

Digital Communication and Language참고 문헌 13인용 수 33

한 줄 요약

이 논문은 계절에 따라 이모지 의미와 사용 방식이 어떻게 변화하는지 조사하고, 예측 정확도를 향상시키기 위해 시기 인식 기반 접근법을 제안한다. 계절별로 별도의 이모지 임베딩을 학습하고, 날짜 정보를 딥러닝 모델에 통합함으로써 저자들은 시기적 맥락이 예측 정확도에 상당한 기여를 한다고 밝힌다. 특히 🍀 (스테이프 브래디스 데이)와 🌞 (오전/저녁 맥락)와 같은 시간에 민감한 이모지의 경우 두드러진 성능 향상이 관찰되며, 조기 융합 방법이 최신 기술 수준의 시스템을 초월한다.

ABSTRACT

The frequent use of Emojis on social media platforms has created a new form of multimodal social interaction. Developing methods for the study and representation of emoji semantics helps to improve future multimodal communication systems. In this paper, we explore the usage and semantics of emojis over time. We compare emoji embeddings trained on a corpus of different seasons and show that some emojis are used differently depending on the time of the year. Moreover, we propose a method to take into account the time information for emoji prediction systems, outperforming state-of-the-art systems. We show that, using the time information, the accuracy of some emojis can be significantly improved.

연구 동기 및 목표

• 이모지 의미와 사용이 봄, 夏, 가을, 겨울 등 다양한 계절에 따라 변화하는지 조사하기.
• 공휴일, 계절, 오전/오후 등 시기적 맥락이 이모지 의미와 공존 패턴에 미치는 영향 분석하기.
• 날짜 정보와 같은 시기적 정보를 이모지 예측 모델에 통합하여 정확도를 향상시키는 방법 개발 및 평가하기.
• 시간에 민감하지 않은 이모지 역시 시기적 맥락을 통한 예측 성능 향상에 기여하는지 여부 확인하기.

제안 방법

• 2015년 10월부터 2017년 11월까지의 미국 전용 영어 트윗 약 1억 건 이상의 대규모 데이터셋을 구축하였으며, 상위 300개의 빈도 높은 이모지 중 하나만 포함된 트윗으로 필터링하였다.
• 계절별로 데이터셋을 네 개의 하위집합(봄, 夏, 가을, 겨울)으로 분할하여, 각각 300차원 공간에서 6토큰 윈도우를 사용한 별도의 스킵그램 word2vec 모델을 이모지 임베딩용으로 학습하였다.
• 시기적 의미 변화 분석을 위해 네 가지 계절별로 별도의 이모지 임베딩 모델을 학습하고, k-최근접 이웃(k-NN) 및 상관관계 행렬을 활용해 의미 이동 분석을 수행하였다.
• 날짜 정보를 신경망 기반 이모지 예측 모델에 통합하기 위한 두 가지 방법을 제안: 조기 융합(단어 수준 표현에 날짜 임베딩을 연결) 및 후기 융합(어텐션 출력에 날짜 임베딩을 연결).
• 정밀도, 재현율, 매크로 F1, 정확도(1, 5, 10), 커버리지 오차 등의 표준 평가 지표를 사용해 모델을 평가하였다.
• 모든 변종 간 성능 비교를 바탕으로 조기 융합 방법을 최적의 것으로 선정하였다.

실험 결과

연구 질문

• RQ1 연중 계절에 따라 이모지 의미와 사용 방식이 뚜렷하게 변화하는가?
• RQ2 어떤 이모지가 계절 간 가장 뚜렷한 의미 변화를 보이며, 그 배경이 되는 시기적 요인(예: 공휴일, 기상, 이벤트 등)은 무엇인가?
• RQ3 날짜, 일자, 오전/오후 등의 시기적 정보를 통합함으로써 이모지 예측 시스템의 성능 향상이 가능한가?
• RQ4 시간에 민감하지 않은 이모지 역시 시기적 맥락을 통한 예측 성능 향상에 기여하는가, 아니면 계절에 특화된 이모지에 한정되는가?

주요 결과

• k-NN 분석 결과, 🍀 (네잎 클로버), 🎉 (파티팝퍼), 🎓 (졸업모)와 같은 이모지가 계절 간 뚜렷한 의미 이동을 보였으며, 이는 맥락 기반 의미 변화(예: 3월의 스테이프 브래디스 데이)로 인해 근접 이웃이 변화하기 때문이다.
• 상관계수 행렬 비교 결과, 🎉 과 🍷 의 쌍이 계절 간 유사도 차이가 가장 크게 나타나, 이는 의미적 연관성에 강력한 시기적 영향이 있음을 시사한다.
• 날짜 임베딩을 모델에 통합하는 조기 융합 방법이 베이스라인(날짜 미통합) 및 후기 융합 방법보다 우수했으며, F1 스코어는 22.10%를 기록하여 날짜 미통합 시 21.89%보다 향상되었다.
• 특정 이모지인 🍀 (스테이프 브래디스 데이)의 경우, 날짜 통합으로 F1 스코어가 0.54에서 0.63으로 상승하여 상대적 성능 향상률이 16.7%에 이르렀다.
• 시간에 민감하지 않은 이모지인 😂 및 🌟 역시 측정 가능한 F1 향상(예: 0.44에서 0.49로)을 보였으며, 이는 시기적 맥락이 계절 이벤트를 넘어서 의미 해석의 정확도 향상에 기여함을 시사한다.
• 커버리지 오차가 가장 낮은 것은 조기 융합 모델(42.59)이었으며, 이는 더 나은 레이블 분포와 다수 후보에 대한 일관된 예측 성능을 의미한다.