[論文レビュー] Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words

Armin Seyeditabari, Narges Tabari+2 more|arXiv (Cornell University)|May 31, 2019

Sentiment Analysis and Opinion Mining参考文献 20被引用数 14

ひとこと要約

本稿では、プラチキの感情ホイルとNRC感情語彙を用いて、事前学習済み単語埋め込みに感情的意味を統合するためのポストトレーニング精錬手法を提案する。心理的感情モデルと整合するように単語ベクトルを最適化することで、感情的類似度メトリクスがWord2Vecで13%、GloVeで29%向上し、感情に敏感な埋め込みが感情的自然言語処理タスクのパフォーマンスを向上させることを示している。

ABSTRACT

Word embeddings are one of the most useful tools in any modern natural language processing expert's toolkit. They contain various types of information about each word which makes them the best way to represent the terms in any NLP task. But there are some types of information that cannot be learned by these models. Emotional information of words are one of those. In this paper, we present an approach to incorporate emotional information of words into these models. We accomplish this by adding a secondary training stage which uses an emotional lexicon and a psychological model of basic emotions. We show that fitting an emotional model into pre-trained word vectors can increase the performance of these models in emotional similarity metrics. Retrained models perform better than their original counterparts from 13% improvement for Word2Vec model, to 29% for GloVe vectors. This is the first such model presented in the literature, and although preliminary, these emotion sensitive models can open the way to increase performance in variety of emotion detection techniques.

研究の動機と目的

• 標準的な単語埋め込みが意味的・構文的タスクで成功を収めている一方で、感情的コンテンツを捉える能力に限界があることに対処する。
• 再訓練を完全に再開することなく、事前学習済み単語埋め込みに感情的意味を強化する手法を開発する。
• 感情的制約を用いて埋め込みを精錬することで、感情的類似度メトリクスのパフォーマンスが向上するかどうかを評価する。
• 感情に敏感な単語表現のベースラインを確立し、その後続の感情的自然言語処理応用に活用できるようにする。

提案手法

• プラチキの感情ホイルとNRC感情語彙から得られる感情的制約を用いて、事前学習済み単語埋め込みをポストトレーニング段階で精錬する。
• 相反する感情カテゴリー内の単語間のコサイン類似度を最小化し、同じ感情カテゴリー内では類似度を最大化する損失関数を定義する。
• 20エポックにわたり確率的勾配降下法を用いて、元の意味的構造を保持したまま埋め込み空間を最適化する。
• 重み付き目的関数を用いて感情的類似度制約を統合する：$ \mathcal{L}(V') = PR(V') + NR(V') + VSP(V, V') $、ここで$ PR $は相反する感情間の類似度をペナルティ化し、$ NR $は感情グループ内での類似度を促進し、$ VSP $は元のベクトル空間構造を保存する。
• 二次的な感情モデル（Shaver et al., 1987）を用いて、カテゴリ内および相反感情の類似度スコアを計算することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ポストトレーニング精錬プロセスを用いて、感情的意味を事前学習済み単語埋め込みに効果的に統合できるか？
• RQ2 精錬された埋め込み空間は、元の埋め込みと比較して、感情的類似度メトリクスのパフォーマンスをどの程度向上させるか？
• RQ3 Word2Vec、GloVe、fastText、NumberBatchといった異なる事前学習モデルは、感情的精錬に対してどの程度反応を示すか？ また、感情的類似度の保持度はいかがなっているか？
• RQ4 本手法は、相反する感情（例：喜び vs. 悲しみ、怒り vs. 恐怖）の区別を強化するとともに、感情カテゴリー内での類似度を向上させるか？

主な発見

• 感情的に精錬されたWord2Vecモデルは、元のモデルと比較して、感情的類似度メトリクスで13%の向上を示した。
• GloVeモデルは感情的精錬後、29%の最高向上を達成し、他のモデルを上回った。
• 再訓練されたConceptNet Numberbatchモデルは、カテゴリ内類似度スコアが0.57（元は0.47）にまで上昇し、最高の全体的パフォーマンスを示した。
• 相反感情ペア（例：喜び vs. 悲しみ、怒り vs. 恐怖）間の平均類似度は、精錬後、顕著に低下した。これは、感情の相反対の区別が明確になったことを示している。
• 本手法は、全テスト対象モデルにおいてカテゴリ内感情的類似度を有意に向上させ、ベクトル空間内での感情的構造の改善が確認された。
• 精錬済み埋め込みは共有リンクを通じて公開されており、再現性とさらなる研究を可能としている。