[논문 리뷰] Code-Mixed Sentiment Analysis Using Machine Learning and Neural Network Approaches

Pruthwik Mishra, Prathyusha Danda외 1명|arXiv (Cornell University)|2018. 08. 09.

Natural Language Processing Techniques참고 문헌 11인용 수 12

한 줄 요약

이 논문은 인도어 언어 쌍(Hi-En 및 Ben-Hi-En)에 대한 코드 혼합 감성 분석을 위해 기계 학습 및 신경망 접근법을 제시한다. TF-IDF 문자 n-그램(n=2에서 6까지)과 선형 SVM, 앙상블 투표 분류기들을 사용한다. 선형 SVM 모델(Run2)이 가장 높은 성능을 보이며, SAIL-Code Mixed 도구 대회에서 Hi-En의 F-스코어 0.569와 Ben-Hi-En의 F-스코어 0.526로 1등을 차지하였다.

ABSTRACT

Sentiment Analysis for Indian Languages (SAIL)-Code Mixed tools contest aimed at identifying the sentence level sentiment polarity of the code-mixed dataset of Indian languages pairs (Hi-En, Ben-Hi-En). Hi-En dataset is henceforth referred to as HI-EN and Ben-Hi-En dataset as BN-EN respectively. For this, we submitted four models for sentiment analysis of code-mixed HI-EN and BN-EN datasets. The first model was an ensemble voting classifier consisting of three classifiers - linear SVM, logistic regression and random forests while the second one was a linear SVM. Both the models used TF-IDF feature vectors of character n-grams where n ranged from 2 to 6. We used scikit-learn (sklearn) machine learning library for implementing both the approaches. Run1 was obtained from the voting classifier and Run2 used the linear SVM model for producing the results. Out of the four submitted outputs Run2 outperformed Run1 in both the datasets. We finished first in the contest for both HI-EN with an F-score of 0.569 and BN-EN with an F-score of 0.526.

연구 동기 및 목표

• 코드 혼합 인도어 텍스트, 특히 히누어-영어(Hi-En) 및 벤갈리-히누어-영어(Ben-Hi-En) 언어 쌍에서 감성 분석의 과제를 해결하기 위해.
• 저자원, 혼합 언어 텍스트에서 문장 수준의 감성 극성 정확하게 분류할 수 있는 강력한 기계 학습 및 신경망 모델을 개발하기 위해.
• 코드 혼합 감성 분석을 위한 SAIL-Code Mixed 도구 대회에 참가하고 최상의 성능을 달성하기 위해.
• 이 저자원, 多언어 환경에서 앙상블 투표 분류기와 독립된 선형 SVM 모델 간의 효과성을 비교하기 위해.

제안 방법

• 하나의 언어 패턴을 포착하기 위해 n이 2에서 6까지인 TF-IDF 벡터를 사용한 특징 추출, 문자 n-그램을 활용한다.
• 선형 SVM, 로지스틱 회귀, 랜덤 포레스트를 조합한 투표 앙상블 분류기의 구현으로 일반화 성능 향상.
• 기준 모델 및 비교 대상으로 독립된 선형 SVM 모델을 사용한다.
• scikit-learn(sklearn) 라이브러리를 사용해 SAIL-Code Mixed 데이터셋에서 모델 훈련 및 평가를 수행한다.
• 네 가지 모델 출력을 제출하였으며, 성능 비교에 사용된 것은 Run1(앙상블)과 Run2(선형 SVM)이다.
• Hi-En 및 Ben-Hi-En 데이터셋에 대해 SAIL-Code Mixed 도구 대회에서 F-스코어 기반 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 TF-IDF 문자 n-그램을 사용한 선형 SVM 모델은 코드 혼합 히누어-영어 텍스트의 감성 분류에 얼마나 효과적인가?
• RQ2 다양한 분류기의 앙상블은 저자원 언어 쌍에서 개별 모델보다 성능을 뛰어올릴 수 있는가?
• RQ3 이 특정 코드 혼합 감성 분석 작업에서 기계 학습 모델과 신경망 접근법 간의 상대적 성능은 어떠한가?
• RQ4 TF-IDF 문자 n-그램은 코드 혼합 인도어 언어에서 감성 표현을 포착하는 데 다른 특징 표현 방식보다 얼마나 우수한가?
• RQ5 기존 기계 학습 방법만으로 SAIL-Code Mixed 데이터셋에서 달성할 수 있는 성능 수준은 어느 정도인가?

주요 결과

• 선형 SVM 모델(Run2)이 Hi-En 및 Ben-Hi-En 데이터셋 양쪽에서 앙상블 투표 분류기(Run1)보다 뛰어난 성능을 보였다.
• 선형 SVM는 Hi-En 데이터셋에서 F-스코어 0.569를 기록하며, SAIL-Code Mixed 도구 대회에서 1등을 차지하였다.
• 선형 SVM는 Ben-Hi-En 데이터셋에서 F-스코어 0.526를 기록하며, 동일하게 대회에서 1등을 차지하였다.
• 앙상블 모델(Run1)은 독립된 선형 SVM보다 낮은 성능을 보였으며, 이는 이 맥락에서 모델의 복잡성이 성능 향상에 기여하지 않았음을 시사한다.
• TF-IDF 문자 n-그램(n=2에서 6까지)은 코드 혼합 텍스트에서 감성 관련 패턴을 효과적으로 포착하는 데 유용하였다.
• 결과적으로, 적절한 특징 공학을 수행한 전통적인 기계 학습 모델이 저자원 코드 혼합 감성 분석 과제에서 최신 기술 수준의 성능을 달성할 수 있음을 보여주었다.