[논문 리뷰] Are Emojis Predictable?

Francesco Barbieri, Miguel Ballesteros외 1명|arXiv (Cornell University)|2017. 02. 23.

Advanced Text Analysis Techniques참고 문헌 20인용 수 16

한 줄 요약

이 논문은 단어 수준 및 문자 수준의 임베딩을 사용하여 트윗이 유도하는 가장 가능성이 높은 이모지 예측을 위해 이중 방향 Long Short-Term Memory (BLSTM) 신경망 모델을 제안한다. 이 모델은 전통적 기준 모델과 인간 평가자보다도 이모지 예측 과제에서 더 뛰어난 성능을 보이며, 인간의 F1 점수 0.50에 비해 F1 점수 0.65를 기록함으로써, 계산 모델이 소셜 미디어 텍스트에서 이모지 사용의 의미적 및 맥락적 미묘함을 더 잘 포착할 수 있음을 보여준다.

ABSTRACT

Emojis are ideograms which are naturally combined with plain text to visually complement or condense the meaning of a message. Despite being widely used in social media, their underlying semantics have received little attention from a Natural Language Processing standpoint. In this paper, we investigate the relation between words and emojis, studying the novel task of predicting which emojis are evoked by text-based tweet messages. We train several models based on Long Short-Term Memory networks (LSTMs) in this task. Our experimental results show that our neural model outperforms two baselines as well as humans solving the same task, suggesting that computational models are able to better capture the underlying semantics of emojis.

연구 동기 및 목표

• 소셜 미디어에서 텍스트 콘텐츠와 이모지 사용 간의 예측 관계를 조사하기 위해.
• 주어진 트윗과 연관된 가장 가능성이 높은 이모지를 예측할 수 있는 계산 모델을 개발하기 위해.
• 신경망 모델이 인간 평가자보다 이모지 의미를 더 잘 일반화할 수 있는지 평가하기 위해.
• 딥 러닝을 사용하여 맥락 내 이모지 의미를 모델링하는 것이 가능한지 탐색하기 위해.

제안 방법

• 이중 방향 LSTM (BLSTM) 모델이 단어 임베딩과 문자 수준 표현을 모두 사용하여 트윗 시퀀스를 인코딩하도록 훈련된다.
• 모델은 전방 및 후방 LSTM 은닉 상태를 조합하여 맥락 인식 가능한 트윗 표현을 계산한다.
• 최종 표현은 소프트맥스 확률 분포를 계산하기 전에 ReLU 활성화 함수를 거친 후 전달된다.
• 모델은 진짜 이모지 레이블의 음의 로그 우도를 최소화하기 위해 교차 엔트로피 손실을 사용하여 훈련된다.
• 출력층은 학습된 이모지 임베딩과 편향 항목을 사용하여 사전 정의된 집합에서 가장 가능성이 높은 이모지를 예측한다.
• 모델은 2015년 10월에서 2016년 5월 사이 미국 트위터 스트림에서 가장 흔한 20개의 이모지 중 하나를 포함한 총 584,600개의 트윗으로 구성된 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 신경 시퀀스 모델이 인간 평가자보다 트윗이 유도하는 가장 가능성이 높은 이모지를 더 높은 정확도로 예측할 수 있는가?
• RQ2 단어 수준과 문자 수준의 표현은 이모지 예측 성능에 어떻게 기여하는가?
• RQ3 인간 간의 이모지 해석에 대한 모호성 정도는 얼마나 되며, 이는 모델 예측과 비교해 볼 때 어떻게 되는가?
• RQ4 어떤 이모지 쌍이 인간과 모델 양쪽 모두에서 가장 자주 혼동되는가? 이러한 혼동을 설명하는 맥락적 신호는 무엇인가?

주요 결과

• 문자 기반 BLSTM 모델은 5개의 가장 흔한 이모지에 대해 F1 점수 0.65를 기록했으며, 인간 평가자는 F1 점수 0.50를 기록하여 모델이 인간을 능가했다.
• 모델은 백오브워즈 기준 모델과 의미 벡터 기준 모델 양쪽 모두보다 이모지 예측 정확도에서 뛰어난 성능을 보였다.
• 인간 평가자 간의 일致도는 높았지만(73%), 체면을 찢는 얼굴 (�)을 웃는 얼굴 (�)로 잘못 분류하는 체계적인 오류를 보였다.
• 모델는 체면을 찢는 얼굴 (�)과 웃는 얼굴 (�)을 자주 혼동했으며, 감탄표나 'haha' 또는 'omg'와 같은 단어와 유사한 언어적 신호 때문일 가능성이 높다.
• 모델는 웃는 이모지 (�)에 대해 인간보다 더 낮은 혼동률을 보였으며, 이는 모델이 확률적이고 맥락적인 신호를 더 잘 포착하고 있음을 시사한다.
• 인간은 이모지 (�)를 과도하게 예측했으며(실제 발생 수 100회 대비 208회), 이는 인간이 이 이모지를 긍정적 또는 비꼬는 표현과 연관 짓는 경향이 있음을 보여주며, 이는 모델에서는 관찰되지 않는 편향이다.