[논문 리뷰] On the Use of Emojis to Train Emotion Classifiers

Wegdan A. Hussien, Mahmoud Al‐Ayyoub외 2명|arXiv (Cornell University)|2019. 02. 24.

Sentiment Analysis and Opinion Mining참고 문헌 35인용 수 10

한 줄 요약

이 논문은 감정 분류기를 훈련시키기 위해 이모지들을 사용하여 감성 트윗을 자동으로 주석 처리하는 원거리 지도 학습 방법을 제안한다. 이는 주석 처리 비용을 크게 줄인다. 낮은 품질의 레이블에도 불구하고, 더 큰 자동 주석 처리 데이터(10배 이상 크기)를 사용해 훈련한 결과, 아랍어 트윗에서 SVM, 나이브 베이즈, 랜덤 포레스트 분류기 모두에서 더 뛰어난 성능을 기록했다.

ABSTRACT

Nowadays, the automatic detection of emotions is employed by many applications in different fields like security informatics, e-learning, humor detection, targeted advertising, etc. Many of these applications focus on social media and treat this problem as a classification problem, which requires preparing training data. The typical method for annotating the training data by human experts is considered time consuming, labor intensive and sometimes prone to error. Moreover, such an approach is not easily extensible to new domains/languages since such extensions require annotating new training data. In this study, we propose a distant supervised learning approach where the training sentences are automatically annotated based on the emojis they have. Such training data would be very cheap to produce compared with the manually created training data, thus, much larger training data can be easily obtained. On the other hand, this training data would naturally have lower quality as it may contain some errors in the annotation. Nonetheless, we experimentally show that training classifiers on cheap, large and possibly erroneous data annotated using this approach leads to more accurate results compared with training the same classifiers on the more expensive, much smaller and error-free manually annotated training data. Our experiments are conducted on an in-house dataset of emotional Arabic tweets and the classifiers we consider are: Support Vector Machine (SVM), Multinomial Naive Bayes (MNB) and Random Forest (RF). In addition to experimenting with single classifiers, we also consider using an ensemble of classifiers. The results show that using an automatically annotated training data (that is only one order of magnitude larger than the manually annotated one) gives better results in almost all settings considered.

연구 동기 및 목표

• 감정 분류를 위한 자연어 처리에서 수동 주석 처리 데이터의 높은 비용과 확장성의 한계를 해결하기 위해.
• 자동 생성된 이모지 기반 주석 처리 데이터가 더 작은 수동으로 캐릭터화된 데이터셋보다 더 나은 성능을 낼 수 있는지 탐색하기 위해.
• 아랍어 소셜 미디어 텍스트에서 감정 분류에 대해 이모지를 약한 레이블로 사용한 원거리 지도 학습의 효과를 평가하기 위해.
• 자동 주석 처리 데이터로 훈련된 다수의 분류기(SVM, MNB, RF)와 앙상블 방법의 성능을 비교하기 위해.
• 감정 분류 작업에서 데이터 양과 레이블 품질 간의 상충 관계를 평가하기 위해.

제안 방법

• 아랍어 트윗의 이모지를 약한 레이블로 사용하여 문장에 감정 카테고리 자동 할당을 가능하게 하여 대규모 데이터 수집을 가능하게 한다.
• 이 방법은 각 이모지를 해당 트윗의 감정을 대신하는 신호로 간주하여 원거리 지도 학습 신호를 형성한다.
• 트윗를 그에 해당하는 이모지가 암시하는 감정 레이블과 연결함으로써 훈련 데이터를 구성하여 저비용의 대규모 데이터셋을 생성한다.
• SVM, 다항 나이브 베이즈, 랜덤 포레스트 등 여러 분류기를 자동 주석 처리 데이터와 수동 주석 처리 데이터로 모두 훈련시켜 비교한다.
• 자동 주석 처리 데이터로 훈련된 성능 향상을 위해 앙상블 분류기 또한 평가한다.
• 연구 방법의 효과를 평가하기 위해 내부에서 확보한 감성 아랍어 트윗 데이터셋을 기반으로 실험을 수행한다.

실험 결과

연구 질문

• RQ1 이모지 기반 자동 주석 처리가 수동 주석 처리 데이터보다 더 나은 감정 분류기 성능을 이끌어낼 수 있는가?
• RQ2 큰 자동 주석 처리 데이터로 훈련된 감정 분류기의 성능은 더 작은 수동 주석 처리 데이터셋으로 훈련된 분류기와 비교해 어떻게 되는가?
• RQ3 이모지를 통한 원거리 지도 학습이 감정 분류 작업에서 레이블 노이즈의 영향을 완화하는가?
• RQ4 SVM, MNB, RF 등 다양한 분류기와 앙상블 방법이 자동 주석 처리 데이터로 훈련되었을 때 성능은 어떻게 되는가?
• RQ5 이모지 기반 약한 지도 학습을 사용할 때, 데이터 양이 레이블 품질보다 얼마나 더 중요한가?

주요 결과

• 이모지에서 유래한 자동 주석 처리 데이터로 감정 분류기를 훈련시킨 결과, 더 작은 수동 주석 처리 데이터셋으로 훈련시킨 경우보다 더 뛰어난 성능을 기록했다.
• 자동 주석 처리 데이터셋은 수동 주석 처리 데이터셋보다 약 10배 이상 크며, 여전히 뛰어난 성능을 달성했다.
• 모든 개별 분류기(SVM, MNB, RF)와 앙상블 모델이 더 큰 자동 주석 처리 데이터로 훈련되었을 때 더 나은 성능을 보였다.
• 결과는 이 약한 지도 학습 환경에서 데이터 양의 이점이 레이블 노이즈의 단점보다 더 크다는 것을 보여주었다.
• 이 연구는 이모지 기반 원거리 지도 학습이 자원이 부족하거나 多국어 환경에서 감정 분류에 실현 가능하고 효과적인 방법임을 확인했다.