[논문 리뷰] Analyzing Roles of Classifiers and Code-Mixed factors for Sentiment Identification

Soumil Mandal, Dipankar Das|arXiv (Cornell University)|2018. 01. 08.

Sentiment Analysis and Opinion Mining참고 문헌 1인용 수 13

한 줄 요약

이 논문은 로마자로 작성된 영어-벵골어 혼합 텍스트에서 감성 식별을 조사하며, 분류기와 혼합 언어 요소를 평가한다. 영어와 혼합된 특징을 사용한 SVM를 적용하여 72.50%의 정확도를 달성하였으며, 이는 영어 특징으로만 훈련된 모델가 최대 59.00%에 그치는 것과 비교해 유의미하게 높은 성능을 보였다.

ABSTRACT

Multilingual speakers often switch between languages to express themselves on social communication platforms. Sometimes, the original script of the language is preserved, while using a common script for all the languages is quite popular as well due to convenience. On such occasions, multiple languages are being mixed with different rules of grammar, using the same script which makes it a challenging task for natural language processing even in case of accurate sentiment identification. In this paper, we report results of various experiments carried out on movie reviews dataset having this code-mixing property of two languages, English and Bengali, both typed in Roman script. We have tested various machine learning algorithms trained only on English features on our code-mixed data and have achieved the maximum accuracy of 59.00% using Naive Bayes (NB) model. We have also tested various models trained on code-mixed data, as well as English features and the highest accuracy of 72.50% was obtained by a Support Vector Machine (SVM) model. Finally, we have analyzed the misclassified snippets and have discussed the challenges needed to be resolved for better accuracy.

연구 동기 및 목표

• 소셜 미디어 환경에서 영어와 벵골어가 혼합된 언어적 상황에서 감성 식별의 과제를 해결하기 위해.
• 영어 특징으로만 훈련된 기계 학습 모델이 혼합 언어 데이터의 감성 분류에 얼마나 효과적인지 평가하기 위해.
• 혼합 언어 언어학적 특징을 통합함으로써 감성 분류 성능에 미치는 영향을 평가하기 위해.
• 잘못 분류된 예시를 분석하여 혼합 언어 감성 분석에서 지속적인 과제를 밝혀내기 위해.

제안 방법

• 연구는 로마자로 작성된 영어-벵골어 혼합 텍스트를 포함한 영화 리뷰 데이터셋을 사용한다.
• 나이브 베이즈(NB) 및 서포트 벡터 머신(SVM)을 포함한 다양한 기계 학습 모델을 영어 전용 특징으로 훈련하여 기준 성능를 평가한다.
• 영어와 벵골어 양쪽 언어의 어휘적, 형태적, 문법적 신호에서 유도된 특징을 사용하여 혼합 텍스트에서 유래한 별도의 모델을 훈련한다.
• 영어 특징과 혼합 언어 특징을 결합하는 하이브리드 접근 방식을 통해 모델의 일반화 능력을 향상시키고 이질적 언어 간 감성 신호를 포착한다.
• 각 모델의 성능은 표준 평가 지표를 사용하여 평가되며, 주요 결과로 정확도가 보고된다.
• 잘못 분류된 예시는 혼합 언어 감성 분류에서의 언어학적 및 구조적 과제를 파악하기 위해 수작업으로 분석된다.

실험 결과

연구 질문

• RQ1 영어 특징으로만 훈련된 모델은 영어-벵골어 혼합 텍스트에서 얼마나 잘 성능을 내는가?
• RQ2 혼합 언어 언어학적 특징을 통합함으로써 감성 분류 정확도에 어떤 영향을 미치는가?
• RQ3 혼합 언어 특징으로 훈련된 모델 중에서 영어 전용 특징으로 훈련된 모델에 비해 가장 우수한 성능을 보이는 기계 학습 모델은 무엇인가?
• RQ4 혼합 언어 감성 분석에서 잘못 분류를 유도하는 주요 언어학적 및 구조적 과제는 무엇인가?
• RQ5 분류기는 감성 맥락에서 가짜 동의어, 빌린어, 혼합 문법 구조와 같은 혼합 언어 패턴을 어떻게 다루는가?

주요 결과

• 영어 특징만을 사용하여 달성한 최고의 정확도는 나이브 베이즈 모델을 통해 59.00%였다.
• 영어 특징과 혼합 언어 특징을 함께 사용한 서포트 벡터 머신(SVM) 모델이 가장 높은 정확도 72.50%를 달성했다.
• 영어 특징으로만 훈련된 모델는 혼합 언어 데이터에 대해 일반화 능력이 제한적이었으며, 이는 언어를 수반하는 특징 공학의 필요성을 시사한다.
• 잘못 분류의 주요 원인은 가짜 동의어나 문법적 일관성 결여와 같은 모호한 혼합 언어 패턴이었다.
• 분석 결과, 혼합 언어 텍스트의 형태구문 복잡성과 어휘의 모호성이 감성 분류를 크게 방해하는 것으로 나타났다.
• 결과적으로, 혼합 언어 특징은 단지 영어 전용 특징으로는 달성할 수 없는 성능 향상에 필수적임을 시사한다.