[논문 리뷰] Emotion Detection From Social Media Posts

Md Mahbubur Rahman, Shaila Shova|arXiv (Cornell University)|2023. 02. 11.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 연구는 사회적 미디어 텍스트의 감정을 두려움, 분노, 기쁨, 슬픔의 네 가지 카테고리로 분류하기 위해 BiGRU와 BiLSTM을 조합한 하이브리드 딥 러닝 모델을 제안한다. 전처리된 트위터 데이터셋(7,102개 샘플)을 사용하여 앙상블 모델은 87.66%의 정확도를 달성했으며, 기존의 기계 학습 모델을 능가하고 과적합이 최소화된 강력한 일반화 능력을 보였다.

ABSTRACT

Over the last few years, social media has evolved into a medium for expressing personal views, emotions, and even business and political proposals, recommendations, and advertisements. We address the topic of identifying emotions from text data obtained from social media posts like Twitter in this research. We have deployed different traditional machine learning techniques such as Support Vector Machines (SVM), Naive Bayes, Decision Trees, and Random Forest, as well as deep neural network models such as LSTM, CNN, GRU, BiLSTM, BiGRU to classify these tweets into four emotion categories (Fear, Anger, Joy, and Sadness). Furthermore, we have constructed a BiLSTM and BiGRU ensemble model. The evaluation result shows that the deep neural network models(BiGRU, to be specific) produce the most promising results compared to traditional machine learning models, with an 87.53 % accuracy rate. The ensemble model performs even better (87.66 %), albeit the difference is not significant. This result will aid in the development of a decision-making tool that visualizes emotional fluctuations.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 두려움, 분노, 기쁨, 슬픔의 네 가지 주요 감정을 정확하게 분류하기 위한 기계 학습 모델을 개발하는 것.
• 기존 기계 학습 모델(SVM, 나이브 베이즈, 의사결정 트리, 랜덤 포레스트)과 딥 네트워크(LSTM, CNN, GRU, BiLSTM, BiGRU)의 감정 분류 성능를 비교하는 것.
• BiGRU와 BiLSTM을 조합한 앙상블 모델을 설계하고, 감정 탐지 정확도 향상을 위해 평가하는 것.
• 감정 추세를 시간에 따라 시각화하여 정신 건강 모니터링 및 개인화된 콘텐츠 추천을 지원하는 것.
• 모델 평가 및 하이퍼파라미터 튜닝을 통해 클래스 불균형 영향을 식별하고 완화하는 것.

제안 방법

• Kaggle에서 확보한 7,102개의 영어 게시물로 구성된 레이블이 부여된 트위터 데이터셋을 수집하여, 분노, 두려움, 기쁨, 슬픔의 네 가지 감정 클래스로 분류.
• 소문자 변환, URL, HTML 태그,标 punctuations, 정지어 제거, 약어 및 약어 전개를 포함한 광범위한 텍스트 전처리를 수행.
• 어형 변환 및 어간 추출을 적용하여 어휘적 다양성을 줄이고 단어 형태를 정규화하면서도 감정적 맥락을 유지하기 위해 이모티콘을 보존.
• 다양한 모델을 훈련 및 평가: 기존 기계 학습(SVM, 나이브 베이즈, 의사결정 트리, 랜덤 포레스트, 로지스틱 회귀) 및 딥 러닝 모델(LSTM, CNN, GRU, BiLSTM, BiGRU).
• BiGRU와 BiLSTM의 예측을 조합하여 앙상블 모델을 구축하고, 일반화 능력을 향상시키기 위해 가중 평균 또는 투표 방식을 사용.
• 교차 검증을 통해 각 모델의 하이퍼파라미터를 최적화하고 검증 정확도 기반으로 최고 성능을 보인 설정을 선택.

실험 결과

연구 질문

• RQ1 짧은 소셜 미디어 텍스트에서 감정을 분류할 때 기존 기계 학습 모델과 딥 네트워크 간의 성능 비교는 어떻게 되는가?
• RQ2 작고 불균형한 데이터셋에서 모델 아키텍처(예: BiGRU 대비 BiLSTM)가 감정 분류 성능에 미치는 영향은 무엇인가?
• RQ3 딥 러닝 모델의 앙상블은 개별 모델 대비 일반화 능력을 향상시키고 과적합을 줄일 수 있는가?
• RQ4 클래스 분포의 불균형은 감정 카테고리별 정밀도, 재현율, F1 점수에 어떤 영향을 미치는가?
• RQ5 이모티콘과 전처리 기법의 포함 여부가 감정 탐지 성능에 미치는 영향은 어느 정도인가?

주요 결과

• BiGRU 모델은 개별 정확도가 87.53%로 가장 높았으며, 모든 기존 기계 학습 모델을 능가했다.
• BiGRU와 BiLSTM의 앙상블 모델은 전체 정확도가 87.66%로 가장 높았으며, 개별 딥 러닝 모델 대비 약간이지만 일관된 향상을 보였다.
• 나이브 베이즈는 특성 간 독립성을 가정하는 바람에 성능이 열악했으며(정확도 약 42%), 이는 순차적 텍스트 데이터에서는 성립하지 않았다.
• 최근접 이웃 분류기는 차원의 극복 문제로 인해 성능이 열악했으며, 고차원 특성 벡터로 인해 거리 기반의 구분 능력이 떨어졌다.
• 슬픔 클래스는 가장 낮은 F1 점수(0.82)를 기록했으며, 이는 높은 양성 오류(51개의 두려움, 37개의 분노 샘플이 슬픔으로 잘못 분류됨)로 인한 클래스 혼동을 나타냈다.
• 마이크로 및 매크로 평균 AUC 값은 약 0.97이었으며, 이는 클래스별 제약이 있음에도 불구하고 전반적인 모델 성능이 뛰어나다는 것을 시사했다.