[논문 리뷰] Improving the Accuracy of Pre-trained Word Embeddings for Sentiment Analysis

Seyed Mahdi Rezaeinia, Ali Ghodsi외 1명|arXiv (Cornell University)|2017. 11. 23.

Sentiment Analysis and Opinion Mining참고 문헌 24인용 수 61

한 줄 요약

이 논문은 Improved Word Vectors (IWV)를 제시하며, POS 태깅, 어휘 기반 단서, 기존 Word2Vec/GloVe 임베딩을 활용하여 감정 분석용 사전학습 단어 임베딩을 향상시키고, 신경망 모델과 데이터셋 전반에서 성능 향상을 입증한다.

ABSTRACT

Sentiment analysis is one of the well-known tasks and fast growing research areas in natural language processing (NLP) and text classifications. This technique has become an essential part of a wide range of applications including politics, business, advertising and marketing. There are various techniques for sentiment analysis, but recently word embeddings methods have been widely used in sentiment classification tasks. Word2Vec and GloVe are currently among the most accurate and usable word embedding methods which can convert words into meaningful vectors. However, these methods ignore sentiment information of texts and need a huge corpus of texts for training and generating exact vectors which are used as inputs of deep learning models. As a result, because of the small size of some corpuses, researcher often have to use pre-trained word embeddings which were trained on other large text corpus such as Google News with about 100 billion words. The increasing accuracy of pre-trained word embeddings has a great impact on sentiment analysis research. In this paper we propose a novel method, Improved Word Vectors (IWV), which increases the accuracy of pre-trained word embeddings in sentiment analysis. Our method is based on Part-of-Speech (POS) tagging techniques, lexicon-based approaches and Word2Vec/GloVe methods. We tested the accuracy of our method via different deep learning models and sentiment datasets. Our experiment results show that Improved Word Vectors (IWV) are very effective for sentiment analysis.

연구 동기 및 목표

• 감정 정보를 포함하지 않을 수 있는 사전 학습 단어 임베딩을 사용한 감정 분석의 개선 필요성을 제시한다.
• POS 태깅, 어휘 기반 단서, 기존 임베딩을 결합한 IWV를 제안하여 감정 표현을 강화한다.
• 다양한 딥러닝 모델과 감정 데이터셋에 걸쳐 IWV를 평가하여 일반화 가능성을 판단한다.

제안 방법

• 사전 학습된 임베딩을 POS 태그 기반 조정으로 확장하여 IWV를 개발한다.
• 어휘 기반 감정 단서를 도입하여 단어 표현을 정교화한다.
• 기존 Word2Vec 및 GloVe 벡터를 기본 임베딩 공간으로 활용한다.
• IWV가 다운스트림 감정 분석 모델에 미치는 영향을 평가한다.
• 다양한 딥러닝 아키텍처를 실험하여 견고성을 검증한다.
• 다양한 감정 데이터셋에 걸친 성능을 분석한다.

실험 결과

연구 질문

• RQ1 IWV가 표준 사전 학습 임베딩에 비해 감정 분류 정확도를 향상시키는가?
• RQ2 POS 태깅과 어휘 단서가 IWV의 효과에 어떻게 기여하는가?
• RQ3 다양한 신경망 아키텍처와 감정 데이터셋에서 IWV가 견고한가?
• RQ4 IWV를 Word2Vec/GloVe와 결합했을 때 전반적인 성능 영향은 무엇인가?

주요 결과

• IWV는 테스트된 모델 전반에서 감정 분석에 효과적이다.
• 사전 학습 임베딩에 POS와 어휘 단서를 통합하면 성능이 향상된다.
• IWV는 데이터셋 전반에 걸쳐 Word2Vec 및 GloVe 임베딩과 함께 사용할 때 개선을 보여준다.