[논문 리뷰] Comparison of Classical Machine Learning Approaches on Bangla Textual Emotion Analysis

Md. Ataur Rahman, Md. Hanif Seddiqui|arXiv (Cornell University)|2019. 07. 18.

Sentiment Analysis and Opinion Mining참고 문헌 5인용 수 14

한 줄 요약

이 논문은 수작업으로 주석 처리된 6,314개의 Facebook 댓글로 구성된 코퍼스를 바탕으로 고해상도 방식의 반브라 문체 감정 분석 시스템을 제안한다. 최고의 성능을 보인 모델은 비선형 SVM이며, RBF 커널을 사용하고 단어형과 TF-IDF 특징을 활용하여 52.98%의 정확도와 매크로 F1 점수 0.3324를 기록했으며, 기준 모델들보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Detecting emotions from text is an extension of simple sentiment polarity detection. Instead of considering only positive or negative sentiments, emotions are conveyed using more tangible manner; thus, they can be expressed as many shades of gray. This paper manifests the results of our experimentation for fine-grained emotion analysis on Bangla text. We gathered and annotated a text corpus consisting of user comments from several Facebook groups regarding socio-economic and political issues, and we made efforts to extract the basic emotions (sadness, happiness, disgust, surprise, fear, anger) conveyed through these comments. Finally, we compared the results of the five most popular classical machine learning techniques namely Naive Bayes, Decision Tree, k-Nearest Neighbor (k-NN), Support Vector Machine (SVM) and K-Means Clustering with several combinations of features. Our best model (SVM with a non-linear radial-basis function (RBF) kernel) achieved an overall average accuracy score of 52.98% and an F1 score (macro) of 0.3324

연구 동기 및 목표

• 세부 감정 분류를 위한 고품질의 균형 잡힌 반브라 감정 코퍼스를 개발하고 주석 처리하기.
• 사람의 기본 감정 여섯 가지—슬픔, 기쁨, 혐오, 놀람, 두려움, 분노—를 탐지하기 위해 반브라 텍스트에서 클래식한 기계학습 모델을 평가하기.
• 다섯 가지 클래식한 분류기—나이브 베이즈, 의사결정트리, k-NN, SVM, K-평균 군집화—가 다양한 특징 조합에서의 성능을 비교하기.
• 저자원 반브라 텍스트에서 감정 분류를 위한 최적의 특징 세트와 하이퍼파라미터 조합을 규명하기.
• 클래식한 기계학습 접근 방식을 사용한 반브라 감정 분석 분야의 향후 연구를 위한 기준 설정하기.

제안 방법

• 사회정치적 문제를 다루는 페이스북 그룹에서 6,314개의 반브라 소셜미디어 댓글을 수집하고 수작업으로 주석 처리하였다.
• 품사 태깅(Bengali Dandapat et al. 2009), 불용어 제거, 형태적 변형을 처리하기 위한 정규화를 통해 텍스트를 전처리하였다.
• scikit-learn의 특징 추출 파이프라인을 사용하여 단어형, n-gram(1–3), TF-IDF, 품사 태그 등 다양한 특징 세트를 추출하였다.
• 다섯 가지 클래식한 분류기—나이브 베이즈, 의사결정트리, k-NN, SVM(선형 및 비선형 RBF), K-평균 군집화—를 훈련 및 평가하였다.
• RBF 커널을 사용한 SVM의 하이퍼파라미터를 최적화하기 위해 C(1.0–3.0)와 감마(0.1–1.0) 값을 기반으로 그리드 서치를 수행하였으며, RBF 커널이 최적으로 선정되었다.
• 정확도, 매크로 및 마이크로 F1 점수, 혼동 행렬을 사용하여 모델을 평가하였으며, 클래스별 성능과 잘못 분류된 패턴을 분석하였다.

실험 결과

연구 질문

• RQ1 여섯 가지 감정 카테고리에 걸쳐 세부적인 반브라 감정 분류에서 가장 우수한 성능을 보이는 클래식한 기계학습 모델은 무엇인가?
• RQ2 다양한 특징 조합(예: 단어형, TF-IDF, n-gram, 품사 태그)이 반브라 텍스트에서 감정 분류기의 성능에 어떤 영향을 미치는가?
• RQ3 이 맥락에서 RBF 커널을 사용한 SVM 모델의 최적 하이퍼파라미터 설정은 무엇인가?
• RQ4 비지도 학습인 K-평균 군집화의 성능은 반브라 감정 분류에서 지도 학습 모델과 비교해 어떻게 되는가?
• RQ5 품사 태그와 불용어 필터링의 포함 여부가 분류 성능 향상에 어느 정도 기여하는가?

주요 결과

• 비선형 RBF 커널을 사용한 SVM가 가장 높은 정확도 52.98%와 매크로 F1 점수 0.3324를 기록하여 모든 다른 모델을 앞섰다.
• SVM 모델에서 가장 우수한 특징 조합은 단어형과 TF-IDF 가중치를 조합한 것으로, 모든 평가 지표에서 최고의 성능을 보였다.
• 최고 성능 모델의 마이크로 F1 점수는 0.476로, 모든 감정 클래스 간에 중간 정도의 전체 분류 일관성을 나타내었다.
• K-평균 군집화는 성능이 열악했으며, 최대 V-측정 값이 0.049이고 조정된 랜드 지수는 0.059로, 낮은 군집 품질을 보였다.
• 의사결정트리 모델은 단어형과 TF-IDF 특징을 사용하여 두 번째로 높은 정확도(44.2%)를 기록했지만, SVM에 비해 상당히 낮은 F1 점수를 기록했다.
• 모델은 '기쁨'(F1: 0.742)과 '분노'(F1: 0.565) 클래스에서는 뛰어난 성능를 보였지만, '혐오'와 '두려움'(F1 < 0.05) 클래스에서는 어려움을 겪었으며, 이는 클래스 불균형 또는 의미 모호성 문제를 시사한다.