[論文レビュー] Combining Sentiment Lexica with a Multi-View Variational Autoencoder

Alexander Hoyle, Lawrence Wolf-Sonkin+3 more|arXiv (Cornell University)|Apr 5, 2019

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

本稿では、二値、カテゴリカル、連続の異なるスケールを持つセンチメント語彙を統合するマルチビュー変分オートエンコーダー、SentiVAEを提案する。各語彙をビューとして扱い、共有潜在変数を活用することで、より強固でカバレッジに富んだセンチメント表現を生成し、9つの英語センチメント分類データセットで個々の語彙や単純な組み合わせを上回る性能を発揮する。特にリソースが限られたドメインで顕著な向上を示す。

ABSTRACT

When assigning quantitative labels to a dataset, different methodologies may rely on different scales. In particular, when assigning polarities to words in a sentiment lexicon, annotators may use binary, categorical, or continuous labels. Naturally, it is of interest to unify these labels from disparate scales to both achieve maximal coverage over words and to create a single, more robust sentiment lexicon while retaining scale coherence. We introduce a generative model of sentiment lexica to combine disparate scales into a common latent representation. We realize this model with a novel multi-view variational autoencoder (VAE), called SentiVAE. We evaluate our approach via a downstream text classification task involving nine English-Language sentiment analysis datasets; our representation outperforms six individual sentiment lexica, as well as a straightforward combination thereof.

研究の動機と目的

• 二値、カテゴリカル、連続の異なるラベルスケールを用いるセンチメント語彙を、単一の整合的な表現に統合する課題に対処すること。
• 複数の語彙を統合することでセンチメント語彙のカバレッジとロバストネスを向上させるとともに、スケールの一貫性を保つこと。
• 異なる語彙間で共有される潜在センチメント表現を学習する生成モデルを開発し、下流タスクの性能を向上させること。
• 標準語彙で十分にカバーされていないドメインを含む多様なセンチメント分析データセットにおいて、統合表現の有効性を評価すること。

提案手法

• SentiVAEは、各センチメント語彙を同じ潜在語彙感情の別々のビューとして扱うマルチビュー変分オートエンコーダーのアーキテクチャを採用する。
• 各単語の潜在変数としてディリクレ分布を用いることで、複数のスケールにわたる感情極性の確率的モデリングが可能になる。
• 各語彙が独立した発射分布を貢献し、そのパラメータは共有潜在表現に条件付けられる。
• 変分推論を用いてエンドツーエンドに訓練され、観測された語彙ラベルの周辺尤度の下界が最適化される。
• 最終的なセンチメント表現は、潜在ディリクレ分布の事後分布の平均から導出される。
• 単純なベースラインは、スケールの整合性や潜在モデリングを考慮せずに、感情ベクトルの連結による語彙の統合を採用する。

実験結果

リサーチクエスチョン

• RQ1 スケールが異なった（二値、カテゴリカル、連続）センチメント語彙を、一貫性のある表現に効果的に統合できる生成モデルは存在するか？
• RQ2 SentiVAEが学習する共有潜在表現は、下流のセンチメント分類タスクにおいて個々のセンチメント語彙を上回る性能を発揮するか？
• RQ3 標準語彙で十分にサポートされていないドメイン、例えばソーシャルメディアや製品レビューのデータセットにおいて、SentiVAEはどの程度の性能を示すか？
• RQ4 スケールの一貫性と語彙カバレッジを考慮した場合、単純な語彙連結と比較して、モデルの性能はどの程度向上するか？
• RQ5 マルチクラスおよび二値センチメント分類タスクの両方で評価した場合、モデルの表現はよりロバストであるか？

主な発見

• SentiVAEは、9つのセンチメント分類データセットのうち8つで6つの個別語彙を上回り、IMDB（2クラス）で最高74.7%、SemEval（3クラス）で72.4%の精度を達成した。
• 潜在ディリクレ分布の事後分布の平均を用いた表現は、9つのデータセットのうち6つでいかなる単一語彙よりも高い精度を達成した。
• 単一語彙の語彙に制限された状況でも、SentiVAEの表現は当該語彙を上回った。これは、表現の質が向上していることを示している。
• SentiVAEは、標準語彙で十分にカバーされていないドメイン（例：ソーシャルメディア、製品レビュー）のデータセットにおいて、単純な連結ベースラインを顕著に上回った。
• モデルは多様なドメインで強力な性能を維持し、いかなる単一語彙の範囲を越えて一般化していることを示した。
• カバレッジ分析の結果、SentiVAEは全データセットの学習セットで100%の語彙カバレッジを達成しており、個別語彙（例：SentiWordNetはIMDBで15%）をはるかに上回った。