[논문 리뷰] Word Embeddings for Sentiment Analysis: A Comprehensive Empirical Survey

Erion Çano, Maurizio Morisio|arXiv (Cornell University)|2019. 02. 02.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 트윗, 노래 가사, 영화 리뷰, 제품 리뷰 등 다양한 텍스트 도메인에서 감성 분석을 위한 단어 임베딩에 대해 종합적인 실증 조사를 수행한다. 학습 방법, 코퍼스 크기, 주제 관련성의 영향을 평가한다. 결과적으로, 작은 도메인 특화 코퍼스(예: 가사, 트윗)에서는 GloVe가 Word2Vec보다 성능이 뛰어나며, 대규모 다주제 코퍼스(예: Common Crawl)는 전체적으로 가장 우수한 성능을 보인다. 특히 문법적·의미적 유추 작업에서 뛰어나다. 감성 사전 기반 지식을 통합하거나 감성 전용 학습(SSWE)을 수행하면 타겟 작업에서 성능 향상이 이루어진다.

ABSTRACT

This work investigates the role of factors like training method, training corpus size and thematic relevance of texts in the performance of word embedding features on sentiment analysis of tweets, song lyrics, movie reviews and item reviews. We also explore specific training or post-processing methods that can be used to enhance the performance of word embeddings in certain tasks or domains. Our empirical observations indicate that models trained with multithematic texts that are large and rich in vocabulary are the best in answering syntactic and semantic word analogy questions. We further observe that influence of thematic relevance is stronger on movie and phone reviews, but weaker on tweets and lyrics. These two later domains are more sensitive to corpus size and training method, with Glove outperforming Word2vec. "Injecting" extra intelligence from lexicons or generating sentiment specific word embeddings are two prominent alternatives for increasing performance of word embedding features.

연구 동기 및 목표

• 학습 방법, 코퍼스 크기, 주제 관련성이 감성 분석 작업에서 단어 임베딩 품질에 미치는 영향을 조사하기 위해.
• GloVe와 Word2Vec의 성능을 트윗, 노래 가사, 영화 리뷰, 제품 리뷰 등 다양한 텍스트 도메인에서 평가하기 위해.
• 감성 사전 통합 및 감성 전용 학습(SSWE)과 같은 사후 처리 기법이 임베딩 품질에 미치는 영향을 평가하기 위해.
• 작업 요구사항과 데이터 가용성에 기반한 단어 임베딩 선택 및 학습을 위한 실용적 지침을 제공하기 위해.

제안 방법

• 공개된 대규모 데이터셋(예: Common Crawl)과 크기 및 주제 집중도가 다른 커스터마이징된 코퍼스를 사용해 GloVe와 Word2Vec을 학습하였다.
• 트윗, 노래 가사, 영화 리뷰, 제품 리뷰 등의 도메인 특화 코퍼스를 구축하여 작업별 성능을 평가하였다.
• 문장 유추 작업(예: 'man is to king as woman is to ?')을 통해 임베딩의 문법적 및 의미적 품질을 평가하였다.
• 네 가지 감성 분석 작업에서 F1 점수와 교차 검증을 사용해 감성 분류 성능을 평가하였다.
• 사후 처리 기법을 구현: 사전 학습된 벡터에 감성 사전 정보를 통합하고, 레이블이 있는 데이터를 사용해 감성 전용 단어 임베딩(SSWE)을 학습하였다.
• 모델 간 성능 차이의 유의성을 검증하기 위해 통계적 검정(t-검정, p-값)을 사용하였다.

실험 결과

연구 질문

• RQ1 학습 방법의 선택(GloVe 대비 Word2Vec)이 트윗, 가사, 영화 리뷰, 제품 리뷰 등 다양한 감성 분석 작업에서 단어 임베딩 성능에 어떻게 영향을 미치는가?
• RQ2 코퍼스 크기가 트윗, 가사, 리뷰의 감성 분석에서 단어 임베딩 품질에 어느 정도 영향을 미치는가?
• RQ3 학습 코퍼스의 주제 관련성이 감성 분석 작업 성능에 어떻게 영향을 미치는가?
• RQ4 감성 사전 통합 또는 감성 전용 학습(SSWE)과 같은 사후 처리 기법이 특정 도메인에서 단어 임베딩 품질을 향상시킬 수 있는가?

주요 결과

• Common Crawl와 같은 대규모 다주제이고 어휘가 풍부한 코퍼스에서 학습한 모델은 단어 유추 작업에서 가장 높은 성능을 보이며, 더 작은 또는 도메인 특화 코퍼스보다 뛰어나다.
• 노래 가사와 트윗의 감성 분석에서 GloVe는 Word2Vec보다 성능이 뛰어나며, 특히 학습 코퍼스가 작을 경우 두드러진다. 반면 영화 리뷰나 제품 리뷰에서는 유의미한 차이가 관찰되지 않는다.
• 영화 리뷰와 휴대폰 리뷰에서는 주제 관련성이 강한 영향을 미치며, 트윗에서는 중간 정도의 영향을 미치고, 가사에서는 유의미한 영향이 없다.
• 코퍼스 크기는 가사와 트윗의 성능에 크게 영향을 미치지만, 영화 리뷰나 제품 리뷰에는 영향을 미치지 않아 데이터 스케일에 대한 도메인 의존적 민감도를 시사한다.
• 사전 학습된 임베딩에 감성 사전 지식을 통합하면 가사 분석 성능 향상이 이루어져, 외부 의미 사전의 가치를 입증한다.
• 레이블이 있는 데이터를 사용해 감성 전용 단어 임베딩(SSWE)을 학습하면 표준 Word2Vec 대비 트윗 감성 분류에서 통계적으로 유의미한 향상(p = 0.028)을 보이며, 매크로 F1 점수가 1% 높아진다.