[논문 리뷰] ArmanEmo: A Persian Dataset for Text-based Emotion Detection

Hossein Mirzaee, Javad Peymanfard외 2명|arXiv (Cornell University)|2022. 07. 24.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 에르만의 여섯 가지 기본 감정(분노, 두려움, 기쁨, 미움, 슬픔, 놀라움)과 '기타' 카테고리 포함 총 일곱 가지 감정을 포함한 7,000건 이상의 문장이 수작업으로 레이블링된 고품질의 페르시아어 텍스트 감정 데이터셋인 ArmanEmo를 소개한다. 저자들은 ArmanEmo에서 최신 트랜스포머 기반 모델을 훈련시켜 매크로 F1 스코어 75.39를 달성하였으며, 전이 학습을 통해 ArmanEmo가 기존의 페르시아어 감정 데이터셋인 EmoPars보다 훨씬 더 뛰어난 일반화 능력을 보임을 입증하였다.

ABSTRACT

With the recent proliferation of open textual data on social media platforms, Emotion Detection (ED) from Text has received more attention over the past years. It has many applications, especially for businesses and online service providers, where emotion detection techniques can help them make informed commercial decisions by analyzing customers/users' feelings towards their products and services. In this study, we introduce ArmanEmo, a human-labeled emotion dataset of more than 7000 Persian sentences labeled for seven categories. The dataset has been collected from different resources, including Twitter, Instagram, and Digikala (an Iranian e-commerce company) comments. Labels are based on Ekman's six basic emotions (Anger, Fear, Happiness, Hatred, Sadness, Wonder) and another category (Other) to consider any other emotion not included in Ekman's model. Along with the dataset, we have provided several baseline models for emotion classification focusing on the state-of-the-art transformer-based language models. Our best model achieves a macro-averaged F1 score of 75.39 percent across our test dataset. Moreover, we also conduct transfer learning experiments to compare our proposed dataset's generalization against other Persian emotion datasets. Results of these experiments suggest that our dataset has superior generalizability among the existing Persian emotion datasets. ArmanEmo is publicly available for non-commercial use at https://github.com/Arman-Rayan-Sharif/arman-text-emotion.

연구 동기 및 목표

• NLP 연구를 위한 고품질의 수작업 레이블링된 페르시아어 텍스트 감정 데이터셋 부족 문제를 해결하기 위해.
• 딥 러닝을 활용하여 페르시아어에서 텍스트 기반 감정 탐지의 성능과 일반화 능력을 향상시키기 위해.
• 미래의 페르시아어 감정 탐지 연구를 위한 기준 데이터셋과 강력한 기준 모델을 제공하기 위해.
• 전이 학습을 통해 ArmanEmo가 기존의 페르시아어 감정 데이터셋과 비교해 일반화 능력이 얼마나 뛰어나지 여부를 평가하기 위해.
• 고객 감성 분석 및 정서적으로 지능적인 챗봇과 같은 감정 인식 애플리케이션 개발을 지원하기 위해.

제안 방법

• 트위터, 인스타그램, 디지칼라(이란의 온라인 쇼핑 플랫폼)와 같은 다양한 출처에서 7,000건 이상의 페르시아어 텍스트 샘플을 수집하였다.
• 명확한 레이블링 지침을 제공한 철저한 수작업 레이블링 절차를 적용하였으며, 주로 한 감정이 지배적인 경우(5명의 평가자 중 최소 3명 이상가 동일 감정 선택)에만 레이블을 부여하여 노이즈를 감소시켰다.
• 에르만의 여섯 가지 기본 감정(분노, 두려움, 기쁨, 미움, 슬픔, 놀라움)에 더해 '기타' 카테고리가 포함된 일곱 가지 감정 체계를 사용하였다.
• ArmanEmo 데이터셋을 기반으로 XLM-RoBERTa-large 및 ParsBERT와 같은 최신 트랜스포머 기반 모델을 훈련시어 감정 분류를 수행하였다.
• 페르시아어 데이터에 대해 미세조정 없이도 성능을 평가하기 위해 XLM-EMO라는 다국어 감정 모델을 사용해 제로샷 평가를 수행하였다.
• ArmanEmo와 EmoPars에서 미세조정된 모델의 성능을 비교하는 전이 학습 실험을 수행하여, 두 테스트 세트에서의 성능을 평가함으로써 일반화 능력을 분석하였다.

실험 결과

연구 질문

• RQ1 ArmanEmo에서 훈련된 감정 탐지 모델의 성능은 기존의 페르시아어 감정 데이터셋(예: EmoPars)에서 훈련된 모델과 비교해 어떻게 되는가?
• RQ2 ArmanEmo는 다른 페르시아어 감정 데이터셋과 비교해 얼마나 잘 새로운 데이터로 일반화되는가?
• RQ3 XLM-EMO와 같은 다국어 감정 모델이 페르시아어 감정 데이터에 대해 미세조정 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 레이블 품질과 레이블 일관성이 저자원 감정 탐지 작업에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 최신 트랜스포머 모델은 페르시아어처럼 형태학적으로 복잡한 저자원 언어에서 감정 탐지에 얼마나 효과적인가?

주요 결과

• ArmanEmo에서 가장 높은 성능을 보인 모델인 XLM-RoBERTa-large는 테스트 세트에서 매크로 평균 F1 스코어 75.39를 기록하였다.
• ArmanEmo에서 미세조정된 모델은 EmoPars 테스트 세트에서 26.68 F1을 기록한 반면, EmoPars에서 미세조정된 모델은 6.96 F1을 기록하여 19个百分点 이상 성능 향상을 보였다.
• ArmanEmo는 ArmanEmo와 EmoPars 양측의 테스트 세트에서 뚜렷한 성능 향상을 보이며, EmoPars보다 훨씬 뛰어난 일반화 능력을 보였다.
• XLM-EMO의 제로샷 성능은 ArmanEmo에서 F1 스코어 75.28을 기록하여, 페르시아어 데이터에 대해 미세조정 없이도 강력한 다국어 전이 능력을 보임을 시사한다.
• EmoPars에서 훈련된 모델은 EmoPars 테스트 세트에서 F1 스코어 6.96을 기록하여, 군중 채택 방식으로 인한 높은 레이블 노이즈가 존재함을 시사한다.
• ArmanEmo에서 철저한 레이블링 절차—지배적인 감정에 한정하고 모호하거나 다중 감정 레이블이 부여된 항목을 제거하는 것—은 더 깔끔하고 고품질의 데이터셋을 만들어 더 나은 후속 성능을 이끌어냈다.