[논문 리뷰] An Empirical Study on Sentiment Classification of Chinese Review using Word Embedding

Yiou Lin, Hang Lei외 2명|arXiv (Cornell University)|2015. 11. 05.

Sentiment Analysis and Opinion Mining참고 문헌 31인용 수 21

한 줄 요약

이 논문은 100만 건의 호텔 리뷰에서 유도된 워드 임베딩을 사용하여 중국어 감성 분류에 대한 경험적 연구를 제안한다. 다양한 모델—SVM, 로지스틱 회귀, CNN, 앙상블 방법—을 평가하여, 최고 성능을 내는 분류기들을 조합한 스타킹 앙상블 모델(LR_all)이 F1 스코어 0.920을 기록하며 기존의 나이브 베이즈와 최대 엔트로피 기반의 n-그램 모델을 능가함을 보여준다.

ABSTRACT

In this article, how word embeddings can be used as features in Chinese sentiment classification is presented. Firstly, a Chinese opinion corpus is built with a million comments from hotel review websites. Then the word embeddings which represent each comment are used as input in different machine learning methods for sentiment classification, including SVM, Logistic Regression, Convolutional Neural Network (CNN) and ensemble methods. These methods get better performance compared with N-gram models using Naive Bayes (NB) and Maximum Entropy (ME). Finally, a combination of machine learning methods is proposed which presents an outstanding performance in precision, recall and F1 score. After selecting the most useful methods to construct the combinational model and testing over the corpus, the final F1 score is 0.920.

연구 동기 및 목표

• 워드 임베딩을 중국어 감성 분류의 특징으로 사용할 때의 효과를 조사하는 것.
• 기존의 n-그램 모델(Naive Bayes, Maximum Entropy)과 워드 임베딩를 사용한 딥러닝 및 머신러닝 모델 간의 성능을 비교하는 것.
• 다양한 분류기를 조합하여 성능을 향상시키기 위한 앙상블 모델을 개발하고 평가하는 것.
• 중국어 감성 분류에서 안정적인 성능을 내기 위한 최소 데이터 크기를 규명하는 것.
• 저자원 NLP 환경에서 모델 아키텍처와 특징 표현 방식이 감성 분류 정확도에 미치는 영향을 탐색하는 것.

제안 방법

• 온라인 리뷰 웹사이트에서 수집한 100만 건의 호텔 리뷰를 바탕으로 대규모 중국어 의견 코퍼스인 MioChnCorp를 구축하였다.
• 워드 임베딩의 조밀한 벡터 표현을 위해 워드2vec을 사용하였으며, 60차원의 벡터를 사용하였다.
• 워드 임베딩을 입력 특징으로 사용하여 다수의 머신러닝 모델—SVM, 로지스틱 회귀, CNN, 앙상블 방법—을 훈련시켰다.
• 기본 모델(ME, SVC, LinearSVC, RF, CNN)의 예측을 스태킹하여 앙상블 모델(LR_all)을 구성하였으며, Weka의 CfsSubsetEval 및 BestFirst 검색을 활용해 특징 선택을 수행하였다.
• 최종 모델은 10겹 교차검증 및 특징 평가를 통해 가장 정보가 많은 하위 모델의 예측을 조합하기 위해 로지스틱 회귀를 사용하였다.
• 성능 평가를 위해 훈련 세트 크기가 다양한 경우(60,000건, 80,000건, 120,000건)의 정밀도, 재현율, F1 스코어를 측정하였다.

실험 결과

연구 질문

• RQ1 대규모 중국어 리뷰 코퍼스에서 훈련된 워드 임베딩가 감성 분류에 유의미한 의미를 효과적으로 표현할 수 있는가?
• RQ2 워드 임베딩를 사용한 머신러닝 모델은 중국어 감성 분석에서 기존의 n-그램 모델(Naive Bayes, Maximum Entropy)과 비교해 성능 면에서 어떻게 다른가?
• RQ3 F1 스코어를 최대화하기 위해 앙상블 프레임워크에서 최적의 모델 조합은 무엇인가?
• RQ4 훈련 데이터 크기가 중국어 리뷰 기반의 워드 임베딩 감성 분류기 성능에 어떻게 영향을 미치는가?
• RQ5 딥러닝 모델 중에서도 CNN은 다른 NLP 과제에서는 성공을 거두었음에도 불구하고, 왜 SVM 및 앙상블 모델에 비해 성능이 열 劣한가?

주요 결과

• ME, SVC, LinearSVC, RF, CNN의 예측을 조합한 앙상블 모델 LR_all은 120,000건의 테스트 세트에서 가장 높은 F1 스코어 0.920을 기록하였다.
• SVM(특히 선형 커널을 사용한 LinearSVC 및 SVC)는 모든 데이터 크기에서 일관되게 다른 모델보다 뛰어난 성능을 보였으며, 개별 모델 중 최고의 성능을 기록하였다.
• 감성 사전 없이도 워드 임베딩만으로도 강력한 성능을 내어, 감성 분류에 있어 의미적·구문적 패턴을 효과적으로 포착할 수 있음을 시사한다.
• CNN 모델은 나이브 베이즈 및 최대 엔트로피보다 성능이 뛰어나지만, SVM 및 앙상블 모델에 비해 성능이 열 劣한 편이었으며, 이는 훈련 데이터가 부족하고 과제에 최적화되지 않은 아키텍처 때문일 가능성이 높다.
• 더 많은 훈련 데이터가 제공될수록 성능이 향상되었으며, 약 60,000건에서 안정화되었고, 120,000건의 데이터로 최적의 결과를 도출할 수 있었다.
• 특징 선택을 통해 ME, SVC, LinearSVC, RF, CNN이 가장 유용한 모델로 규명되었으며, 성능이 낮은 모델(예: Vote_all)을 제거함으로써 일반화 능력과 효율성이 향상되었다.