[論文レビュー] Word Embeddings for Sentiment Analysis: A Comprehensive Empirical Survey

Erion Çano, Maurizio Morisio|arXiv (Cornell University)|Feb 2, 2019

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿は、感情分析における単語埋め込みについて、包括的な実験的調査を実施し、学習手法、コーパスサイズ、テーマ的関連性がツイート、楽曲の歌詞、映画レビュー、製品レビューの各分野におけるパフォーマンスに与える影響を評価している。GloVeは、歌詞やツイートのような小規模でドメイン特化したコーパスにおいて、Word2Vecを上回ることが判明した。一方、大規模で多様なテーマを含むコーパス（例：Common Crawl）は、全体的に最高のパフォーマンスを示し、特に構文的・意味的類似性のタスクで顕著であった。感情スコアの知識を埋め込む、または感情特化型の学習（SSWE）を適用することで、ターゲットタスクにおけるパフォーマンスがさらに向上した。

ABSTRACT

This work investigates the role of factors like training method, training corpus size and thematic relevance of texts in the performance of word embedding features on sentiment analysis of tweets, song lyrics, movie reviews and item reviews. We also explore specific training or post-processing methods that can be used to enhance the performance of word embeddings in certain tasks or domains. Our empirical observations indicate that models trained with multithematic texts that are large and rich in vocabulary are the best in answering syntactic and semantic word analogy questions. We further observe that influence of thematic relevance is stronger on movie and phone reviews, but weaker on tweets and lyrics. These two later domains are more sensitive to corpus size and training method, with Glove outperforming Word2vec. "Injecting" extra intelligence from lexicons or generating sentiment specific word embeddings are two prominent alternatives for increasing performance of word embedding features.

研究の動機と目的

• 学習手法、コーパスサイズ、テーマ的関連性が、感情分析タスクにおける単語埋め込みの質に与える影響を調査すること。
• GloVeとWord2Vecのパフォーマンスを、ツイート、楽曲の歌詞、映画レビュー、製品レビューなど多様なテキストドメインで評価すること。
• 後処理技術（例：感情辞書の組み込み、感情特化型学習（SSWE））が、埋め込みの質に与える影響を評価すること。
• タスク固有の要件とデータの可用性に基づいて、単語埋め込みの選定と学習に役立つ実用的ガイドラインを提供すること。

提案手法

• GloVeとWord2Vecを用いて、大規模な公開データセット（例：Common Crawl）およびサイズやテーマ的焦点が異なるカスタム構築コーパスで単語埋め込みを学習した。
• ツイート、楽曲の歌詞、映画レビュー、製品レビューのドメイン特化型コーパスを構築し、タスク固有のパフォーマンスを評価した。
• 語の類似性タスク（例：「男は王にたいして女は？に類似する」）を用いて、埋め込みの構文的・意味的質を評価した。
• F1スコアと交差検証を用いて、4つの感情分析タスクにおける感情分類パフォーマンスを評価した。
• 後処理技術を実装：事前学習済みベクトルに感情辞書の情報を組み込み、ラベル付きデータを用いて感情特化型単語埋め込み（SSWE）を学習した。
• 統計的検定（t検定、p値）を用いて、モデル間のパフォーマンス差の有意性を検証した。

実験結果

リサーチクエスチョン

• RQ1 学習手法の選択（GloVe対Word2Vec）が、さまざまな感情分析タスクにおける単語埋め込みパフォーマンスに与える影響はいかほどか？
• RQ2 コーパスサイズが、ツイート、歌詞、レビューにおける感情分析の単語埋め込みの質に与える影響はどの程度か？
• RQ3 学習コーパスのテーマ的関連性が、感情分析タスクのパフォーマンスに与える影響は何か？
• RQ4 後処理技術（例：辞書情報の組み込み、感情特化型学習（SSWE））が、特定ドメインにおける単語埋め込みの質を向上させられるか？

主な発見

• Common Crawl などの大規模で多様なテーマを含み、語彙が豊富なコーパスで学習されたモデルは、語の類似性タスクで最高のパフォーマンスを示し、小規模またはドメイン特化型コーパスを上回った。
• GloVeは、歌詞やツイートの感情分析において、Word2Vecを上回った。特に、学習コーパスが小規模な場合に顕著であり、映画レビューまたは製品レビューでは有意差は認められなかった。
• テーマ的関連性は、映画レビューおよび電話機レビューにおいて強い影響を示したが、ツイートでは中程度の影響、歌詞では顕著な影響は認められなかった。
• コーパスサイズは、歌詞およびツイートのパフォーマンスに顕著な影響を及ぼしたが、映画レビューまたは製品レビューでは影響が認められず、ドメイン依存のデータスケール感受性が示された。
• 事前学習済み埋め込みに感情辞書の知識を組み込むことで、歌詞のタスクでパフォーマンスが向上し、外部の意味的事前知識の価値が裏付けられた。
• ラベル付きデータを用いて学習した感情特化型単語埋め込み（SSWE）は、標準的なWord2Vecに比べ、ツイートの感情分類で統計的に有意な改善（p = 0.028）を示し、マクロF1スコアが1%向上した。