[논문 리뷰] Emoji Prediction: Extensions and Benchmarking

Weicheng Ma, Ruibo Liu외 2명|arXiv (Cornell University)|2020. 07. 14.

Sentiment Analysis and Opinion Mining참고 문헌 9인용 수 11

한 줄 요약

이 논문은 트위터에서 유래한 새로운 벤치마크 데이터셋을 바탕으로 기존 기본 감정 이모티콘에 국한되지 않은 다양한 이모티콘을 포함한 다중 레이블, 다중 클래스로의 이모티콘 예측 작업으로 확장하여, 트랜스포머 기반 모델을 제안한다. 이 모델들은 새로운 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. BERT 모델은 이전 작업 대비 정확도에서 27.21%에서 236.36%까지 향상되었으며, F-1 점수는 최대 346.79% 향상되어, 깊이 있는 문맥 기반 모델이 이모티콘을 통한 의사소통 의도 이해에 매우 효과적임을 입증한다.

ABSTRACT

Emojis are a succinct form of language which can express concrete meanings, emotions, and intentions. Emojis also carry signals that can be used to better understand communicative intent. They have become a ubiquitous part of our daily lives, making them an important part of understanding user-generated content. The emoji prediction task aims at predicting the proper set of emojis associated with a piece of text. Through emoji prediction, models can learn rich representations of the communicative intent of the written text. While existing research on the emoji prediction task focus on a small subset of emoji types closely related to certain emotions, this setting oversimplifies the task and wastes the expressive power of emojis. In this paper, we extend the existing setting of the emoji prediction task to include a richer set of emojis and to allow multi-label classification on the task. We propose novel models for multi-class and multi-label emoji prediction based on Transformer networks. We also construct multiple emoji prediction datasets from Twitter using heuristics. The BERT models achieve state-of-the-art performances on all our datasets under all the settings, with relative improvements of 27.21% to 236.36% in accuracy, 2.01% to 88.28% in top-5 accuracy and 65.19% to 346.79% in F-1 score, compared to the prior state-of-the-art. Our results demonstrate the efficacy of deep Transformer-based models on the emoji prediction task. We also release our datasets at https://github.com/hikari-NYU/Emoji_Prediction_Datasets_MMS for future researchers.

연구 동기 및 목표

• 제한된 감정 이모티콘 집합에 국한되지 않고 더 넓고 표현력 있는 이모티콘 범위를 포함하여 이모티콘 예측 작업을 확장하기 위해.
• 다중 레이블 분류를 가능하게 하여 각 텍스트에 대해 여러 이모티콘을 예측할 수 있도록 하여 실제 사용 상황을 반영하기 위해.
• 히우리스틱 기반 방법을 사용하여 트위터 데이터에서 유래한 다양한 대규모 기준 데이터셋을 구축하기 위해.
• 이 확장된 이모티콘 예측 작업에서 딥 트랜스포머 기반 모델, 특히 BERT의 성능을 평가하기 위해.

제안 방법

• 컨텍스트 표현 학습을 위한 트랜스포머 기반 아키텍처(예: BERT 포함)를 사용한 다중 레이블 이모티콘 예측 프레임워크를 제안한다.
• 장거리 의존성과 텍스트 내 이모티콘 관련성을 모델링하기 위해 다중 헤드 어텐션 메커니즘을 설계한다.
• 다양한 이모티콘 커버리지 범위를 가진 여러 기준 데이터셋을 생성하기 위해 히우리스틱을 활용해 트위터 데이터에서 이모티콘-텍스트 쌍을 추출한다.
• 엔드 투 엔드 이모티콘 예측을 위해 구축된 데이터셋에 사전 학습된 BERT 모델을 피나이팅한다.
• 다중 레이블 이모티콘 예측에서의 클래스 불균형 문제를 해결하기 위해 레이블 스무딩과 포칼 손실을 적용한다.
• 표준 평가 지표(정확도, 상위 5개 정확도, F-1 점수)를 사용해 모든 설정에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 BERT와 같은 딥 트랜스포머 기반 모델은 광범위한 이모티콘 어휘를 가진 다중 레이블 이모티콘 예측에 효과적으로 일반화될 수 있는가?
• RQ2 감정 이모티콘을 초월해 이모티콘 예측 작업을 확장할 경우, 모델 성능과 표현 학습에 어떤 영향을 미치는가?
• RQ3 히우리스틱 기반 데이터 수집 방법이 이모티콘 예측을 위한 신뢰성 있고 다양한 훈련 데이터를 얼마나 잘 제공하는가?
• RQ4 확장된 이모티콘 예측 벤치마크에서 BERT 기반 모델은 이전 최신 기술 수준의 방법 대비 어떤 개선을 이룬다?
• RQ5 다중 레이블 설정 하에서 정확도, F-1 점수, 상위 5개 정확도 등의 다양한 평가 지표는 이모티콘 예측 모델의 성능을 어떻게 반영하는가?

주요 결과

• 모든 데이터셋과 설정에서 이전 최신 기술 수준 모델 대비 BERT 모델은 정확도에서 27.21%에서 236.36%까지 상대적 향상률을 기록한다.
• 상위 5개 정확도는 이전 작업 대비 2.01%에서 88.28%까지 상승하여 후보 이모티콘의 순위 매기기 능력 향상이 확인된다.
• F-1 점수는 이전 최고 성능 대비 65.19%에서 346.79%까지 상승하여 다중 레이블 예측 성능 향상이 뚜렷하게 드러난다.
• 다양한 이모티콘을 포함한 제안된 다중 레이블 설정은 단일 레이블, 감정 중심 설정 대비 의사소통 의도 학습 능력을 크게 향상시킨다.
• 공개된 데이터셋은 향후 연구를 위한 강력한 기준이 되며, 다양한 실용적인 이모티콘 예측 작업을 지원한다.
• 결과는 BERT와 같은 깊이 있는 문맥 기반 모델이 이모티콘-텍스트 쌍 내의 미묘한 다중 모odal 신호를 효과적으로 포착할 수 있음을 확인한다.