[論文レビュー] Improving the Accuracy of Pre-trained Word Embeddings for Sentiment Analysis

Seyed Mahdi Rezaeinia, Ali Ghodsi+1 more|arXiv (Cornell University)|Nov 23, 2017

Sentiment Analysis and Opinion Mining参考文献 24被引用数 61

ひとこと要約

本論文は Improved Word Vectors (IWV) を提案し、POS tagging、辞書ベースの手掛かり、既存の Word2Vec/GloVe の埋め込みを活用して感情分析のための事前学習済み単語埋め込みを強化し、ニューラルモデルとデータセット全体で性能が向上することを示します。

ABSTRACT

Sentiment analysis is one of the well-known tasks and fast growing research areas in natural language processing (NLP) and text classifications. This technique has become an essential part of a wide range of applications including politics, business, advertising and marketing. There are various techniques for sentiment analysis, but recently word embeddings methods have been widely used in sentiment classification tasks. Word2Vec and GloVe are currently among the most accurate and usable word embedding methods which can convert words into meaningful vectors. However, these methods ignore sentiment information of texts and need a huge corpus of texts for training and generating exact vectors which are used as inputs of deep learning models. As a result, because of the small size of some corpuses, researcher often have to use pre-trained word embeddings which were trained on other large text corpus such as Google News with about 100 billion words. The increasing accuracy of pre-trained word embeddings has a great impact on sentiment analysis research. In this paper we propose a novel method, Improved Word Vectors (IWV), which increases the accuracy of pre-trained word embeddings in sentiment analysis. Our method is based on Part-of-Speech (POS) tagging techniques, lexicon-based approaches and Word2Vec/GloVe methods. We tested the accuracy of our method via different deep learning models and sentiment datasets. Our experiment results show that Improved Word Vectors (IWV) are very effective for sentiment analysis.

研究の動機と目的

• 感情情報を欠く可能性のある事前学習済み単語埋め込みを用いて感情分析を改善する必要性を動機づける。
• POS tagging、辞書ベースの手掛かり、既存の埋め込みを組み合わせて感情表現を向上させるIWVを提案する。
• IWVを複数の深層学習モデルと感情データセットに対して評価し、一般化可能性を検証する。

提案手法

• POSタグベースの調整を用いて事前学習済み埋め込みを拡張することでIWVを開発する。
• 辞書ベースの感情手掛かりを取り入れて語の表現を洗練させる。
• 既存のWord2VecおよびGloVeベクトルを基盤の埋め込み空間として活用する。
• IWVが下流の感情分析モデルに与える影響を評価する。
• 異なる深層学習アーキテクチャを用いて頑健性を検証する。
• 多様な感情データセットにおける性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 IWVは標準的な事前学習済み埋め込みと比較して感情分類精度を改善しますか？
• RQ2 POS taggingと辞書手掛かりはIWVの有効性にどのように寄与しますか？
• RQ3 IWVは異なるニューラルアーキテクチャと感情データセットに対して頑健ですか？
• RQ4 IWVをWord2Vec/GloVeと組み合わせることの全体的な性能への影響は何ですか？

主な発見

• IWVはテストされたモデル全体で感情分析に有効である。
• 事前学習済み埋め込みとPOSおよび辞書手掛かりを組み合わせることで性能が向上する。
• IWVはWord2VecおよびGloVe埋め込みと組み合わせた場合、データセットを跨いで改善を示す。