[논문 리뷰] Twitter Sentiment Analysis: Lexicon Method, Machine Learning Method and Their Combination

Olga Kolchyna, Thársis T. P. Souza외 2명|arXiv (Cornell University)|2015. 07. 03.

Sentiment Analysis and Opinion Mining참고 문헌 60인용 수 133

한 줄 요약

이 논문은 텍스트의 감성 분석을 위해 어휘 기반 감성 점수와 기계 학습을 결합한 하이브리드 감성 분석 방법을 제안한다. 클래스 불균형 문제를 해결하기 위해 비용 감수성 SVM를 사용하며, F-점수는 73%로 향상되어 독립적인 어휘 기반 및 기계 학습 방법보다 뛰어난 성능을 보였다. 비밀번호 및 슬랭어를 반영한 어휘 기반 사전는 전통적인 어휘 기반 사전보다 정확도를 높였다.

ABSTRACT

This paper covers the two approaches for sentiment analysis: i) lexicon based method; ii) machine learning method. We describe several techniques to implement these approaches and discuss how they can be adopted for sentiment classification of Twitter messages. We present a comparative study of different lexicon combinations and show that enhancing sentiment lexicons with emoticons, abbreviations and social-media slang expressions increases the accuracy of lexicon-based classification for Twitter. We discuss the importance of feature generation and feature selection processes for machine learning sentiment classification. To quantify the performance of the main sentiment analysis methods over Twitter we run these algorithms on a benchmark Twitter dataset from the SemEval-2013 competition, task 2-B. The results show that machine learning method based on SVM and Naive Bayes classifiers outperforms the lexicon method. We present a new ensemble method that uses a lexicon based sentiment score as input feature for the machine learning approach. The combined method proved to produce more precise classifications. We also show that employing a cost-sensitive classifier for highly unbalanced datasets yields an improvement of sentiment classification performance up to 7%.

연구 동기 및 목표

• 트위터에서 어휘 기반 및 기계 학습 기반 감성 분석 방법을 평가하고 비교하는 것.
• 감성 어휘 기반 사전에 이모티콘, 약어, 소셜미디어 슬랭어를 추가로 통합하면 분류 정확도가 향상되는지 조사하는 것.
• 어휘 기반에서 유도된 감성 점수를 기계 학습 모델의 특성으로 통합하여 성능 향상을 도모하는 것.
• 매우 불균형한 트위터 데이터셋에서 비용 감수성 학습이 감성 분류 성능에 미치는 영향을 평가하는 것.
• SemEval-2013 트위터 감성 분석 데이터셋을 기반으로 제안된 하이브리드 방법을 최신 기술 기준과 비교 평가하는 것.

제안 방법

• 기본 감성 어휘 기반 사전(OL), 수동으로 수집한 이모티콘, 약어, 슬랭어를 통합한 OL + EMO, 그리고 자동 생성된 어휘어휘를 추가로 확장한 OL + EMO + AUTO의 세 가지 감성 어휘 기반 사전을 구축하였다.
• 트위터 메시지를 $ n \times m $ 이진 행렬로 표현하기 위해 백오브워즈(BOW) 모델을 적용하였으며, 여기서 $ n $은 인스턴스 수이고 $ m $은 특성 수이다.
• 기계 학습 모델에 감성 어휘 기반 점수를 추가적인 입력 특성으로 사용하였으며, 특성의 중요도를 평가하기 위해 정보 이득 기반 특성 선택 기법을 적용하였다.
• 기본 SemEval-2013 Task 2-B 데이터셋을 기반으로 나이브 베이즈, 의사결정수트, SVM, 비용 감수성 SVM 등의 다양한 분류기 모델을 훈련시켰다.
• 데이터셋의 불균형 문제로 인해 긍정 및 부정 인스턴스가 중립으로 잘못 분류되는 비용을 최소화하기 위해 비용 감수성 SVM를 적용하였다.
• SemEval-2013 평가 프로토콜에 따라 긍정 및 부정 클래스 간의 F-점수를 사용하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 감성 어휘 기반 사전에 이모티콘, 약어, 소셜미디어 슬랭어를 추가로 통합하면 트위터에서의 감성 분류 정확도가 향상되는가?
• RQ2 어휘 기반 점수를 기계 학습 모델의 특성으로 사용하는 하이브리드 방법의 성능은 독립적인 어휘 기반 또는 기계 학습 방법보다 어떻게 비교되는가?
• RQ3 매우 불균형한 트위터 데이터셋에서 비용 감수성 학습이 감성 분류 성능에 얼마나 큰 영향을 미치는가?
• RQ4 특히 어휘 기반에서 유도된 감성 점수와 같은 특성 중에서 감성 분류에 가장 유용한 특성들은 무엇인가?
• RQ5 제안된 하이브리드 방법은 SemEval-2013 기준 비교 기준에서 기존 최신 기술보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 수동으로 수집한 이모티콘과 소셜미디어 표현을 통합한 OL + EMO 어휘 기반 사전가 가장 높은 성능을 보였으며, 기본 OL 및 더 큰 OL + EMO + AUTO 어휘 기반 사전보다도 뛰어나, 목표 지향적인 어휘 보강이 정확도 향상에 기여함을 시사한다.
• 어휘 기반 감성 점수를 기계 학습 모델의 특성으로 통합한 하이브리드 방법은 각각 독립적으로 사용된 어휘 기반 또는 기계 학습 방법보다 더 정밀한 분류 성능을 보였다.
• 비용 감수성 SVM 분류기는 F-점수 73%를 기록하여 표준 SVM 대비 7% 향상된 성능을 보였으며, 트위터 감성 분석에서 클래스 불균형 문제를 해결하는 데 효과적임을 입증하였다.
• 검토된 분류기 중에서 비용 감수성 SVM가 나이브 베이즈(64%), 의사결정수트(62%), 표준 SVM(66%)를 모두 앞서며 SemEval-2013 테스트 세트에서 최고의 성능을 기록하였다.
• 정보 이득 기반 특성 선택 과정에서 어휘 기반 감성 점수가 상위 랭킹의 특성으로 나타나, 감성 분류에 강력한 예측 유용성을 지닌 것으로 확인되었다.
• 제안된 하이브리드 모델은 F-점수 73%를 기록하여 SemEval-2013 경연 대회에서 우승팀의 69.02% 성과를 초월하여 기준 데이터셋에서 뛰어난 성능을 보였다.