[論文レビュー] Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations

Areej Alhothali, Jesse Hoey|arXiv (Cornell University)|Mar 28, 2017

Sentiment Analysis and Opinion Mining参考文献 24被引用数 7

ひとこと要約

本稿では、類似度グラフ上でラベル伝播フレームワークを用いて、語彙的（WordNet、PPDB）および分散表現（GloVe、Skip-gram）を統合することで、3次元の感情的意味語彙（評価、強度、活性）の半教師付き拡張を提案する。語彙的およびニューラル語彙表現を統合した際、最も高い順位相関（τ=0.51）と1.1%未満の平均絶対誤差を達成し、分布的および語彙的のみのモデルを上回り、教師ありベースラインに近い性能を示した。

ABSTRACT

In this paper, we propose an extension to graph-based sentiment lexicon induction methods by incorporating distributed and semantic word representations in building the similarity graph to expand a three-dimensional sentiment lexicon. We also implemented and evaluated the label propagation using four different word representations and similarity metrics. Our comprehensive evaluation of the four approaches was performed on a single data set, demonstrating that all four methods can generate a significant number of new sentiment assignments with high accuracy. The highest correlations (tau=0.51) and the lowest error (mean absolute error < 1.1%), obtained by combining both the semantic and the distributional features, outperformed the distributional-based and semantic-based label-propagation models and approached a supervised algorithm.

研究の動機と目的

• 感情的意味の多次元的性質を捉えることができない1次元感情語彙の限界を是正すること。
• 3次元感情語彙（EPA：評価、強度、活性）の手作業によるアノテーションにかかる高コストおよび人的負担を低減すること。
• 語彙的表現と分散表現を統合する有効性を、半教師付き感情語彙拡張の文脈で検討すること。
• 現代的かつ文化的に多様な用語をカバーする大規模な自動拡張3次元感情語彙の構築すること。
• 実世界のデータセット上で、提案手法を無教師および教師ありベースラインと比較して評価すること。

提案手法

• WordNet（語彙的）、PPDB（類義的表現に基づく）、GloVe、およびSkip-gram（ニューラル語彙表現）から得られる語彙表現を用いて、類似度グラフを構築する。
• コサイン類似度や語彙的リソースからの同義語・類義語関係を用いて、複数のメトリクスで語の対間類似度スコアを計算する。
• グラフの接続性と類似度に基づいて、シード語からラベルを未ラベル語へ伝播させるラベル伝播を適用する。
• 語彙的表現と分散表現の両方を統合したハイブリッドアプローチを採用し、類似度行列を豊かにすることで伝播精度を向上させる。
• 固定された事前定義済みのシード（例：'good', 'bad'）に依存せず、コーパスまたは辞書からシード語をサンプリングする。
• Warriner et al. (2013) および General Inquirer (Stone et al., 1968) 語彙を訓練および評価に用い、Kendallのtauと平均絶対誤差を評価指標とする。

実験結果

リサーチクエスチョン

• RQ1 語彙的表現と分散表現を統合することで、単独で使用する場合と比較して、3次元感情語彙拡張の精度が向上するか？
• RQ2 類似度計算に用いる異なる語彙表現（例：GloVe、Skip-gram、WordNet、PPDB）の違いが、ラベル伝播の性能にどのように影響するか？
• RQ3 提案された半教師付き手法は、教師あり学習ベースラインと同等の性能を達成できるか？
• RQ4 誘導されたEPAスコアは、人間によるアノテーション値と、それぞれの次元（評価、強度、活性）でどの程度相関するか？
• RQ5 従来の語彙に存在しない現代的または文化的に敏感な用語の感情的意味を、この手法はどの程度正しく捉えることができるか？

主な発見

• 語彙的およびニューラル語彙表現の統合（NWELP）が、人間によるアノテーションとの最も高いKendallのtau相関（τ=0.51）を達成し、他の手法を顕著に上回った。
• 最良のモデル（NWELP）の平均絶対誤差（MAE）は1.1%未満であり、予測された感情値の高い正確性を示した。
• 評価（E）次元が最も高い相関（τ≈0.51）を示した一方、強度（P）次元が最も低く、支配的性のモデル化がより困難であることが示唆された。
• NWELPモデルは、分布的のみ（例：GloVe、Skip-gram）または語彙的のみ（例：WordNet、PPDB）のラベル伝播モデルを、相関および誤差指標の両面で上回った。
• 大規模なラベル付き学習データセットを必要とせず、語彙表現と感情語彙を用いてトレーニングされた教師あり学習アルゴリズム（SVR）と同等の性能を達成した。
• 本手法により、約300万語に達する3次元感情語彙が自動で拡張され、現代的かつ文化的に繊細な用語のカバー範囲が大幅に拡大された。