[論文レビュー] Joint Emotion Label Space Modelling for Affect Lexica

Luna De Bruyne, Pepa Atanasova+1 more|arXiv (Cornell University)|Nov 20, 2019

Sentiment Analysis and Opinion Mining参考文献 65被引用数 7

ひとこと要約

本稿では、8つの既存の感情ラベル付き語彙を多視点変分オートエンコーダ（VAE）を用いて統合し、異種のラベル空間を共通で解釈可能な潜在空間にマッピングすることで、30,273語の統一された感情語彙を提案する。VAEで構築された語彙は、感情検出タスクにおいて個々の語彙を上回る性能を示すが、単純な連結手法を常に上回るわけではない。しかし、追加の特徴源として追加された際には性能が向上し、低リソース環境下でも補完的で有用な情報を提供することが示された。

ABSTRACT

Emotion lexica are commonly used resources to combat data poverty in automatic emotion detection. However, vocabulary coverage issues, differences in construction method and discrepancies in emotion framework and representation result in a heterogeneous landscape of emotion detection resources, calling for a unified approach to utilising them. To combat this, we present an extended emotion lexicon of 30,273 unique entries, which is a result of merging eight existing emotion lexica by means of a multi-view variational autoencoder (VAE). We showed that a VAE is a valid approach for combining lexica with different label spaces into a joint emotion label space with a chosen number of dimensions, and that these dimensions are still interpretable. We tested the utility of the unified VAE lexicon by employing the lexicon values as features in an emotion detection model. We found that the VAE lexicon outperformed individual lexica, but contrary to our expectations, it did not outperform a naive concatenation of lexica, although it did contribute to the naive concatenation when added as an extra lexicon. Furthermore, using lexicon information as additional features on top of state-of-the-art language models usually resulted in a better performance than when no lexicon information was used.

研究の動機と目的

• 異なるラベル空間、構築手法、感情フレームワークに起因する感情語彙の非一貫性を解消すること。
• 複数の既存リソースを統合し、単一で整合性のある表現としての高カバレッジの統一された感情語彙を構築すること。
• VAEベースの語彙統合が、単純な連結手法や個々の語彙と比較して、下流の感情検出タスクで優れた性能を示すかどうかを評価すること。
• VAEが学習した潜在次元の解釈可能性と、既知の感情次元（例：プラチキの感情）との整合性を評価すること。
• 最先端の言語モデルと組み合わせた場合や、リソースが限られた環境下で語彙特徴が果たす追加的価値を検討すること。

提案手法

• 多視点変分オートエンコーダ（VAE）を用いて、8つの異なる感情語彙を共通の低次元潜在空間に埋め込む。
• 各語彙を同一の語の表現を表す「ビュー」として扱い、VAEが共通潜在空間上の結合分布を学習する。
• VAEの潜在空間次元数は設定可能（例：N=8）であり、その次元はプラチキの感情など既知の感情次元と関連付けて解釈される。
• VAEから得られる語の埋め込み表現を、従来の分類器（線形／ロジスティック回帰）およびディープラーニングモデル（GloVeまたはBERTを用いたBi-LSTM）の特徴として用いる。
• 性能評価は13の感情検出データセットで実施し、VAE語彙、個々の語彙、単純連結手法を比較する。
• モデルは入力語彙の値を再構築することを目的とし、再構築誤差とKLダイバージェンスの両方を最小化することで、ノイズ除去と表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 多視点VAEは、異なるラベル空間を持つ感情語彙を、一貫性のある潜在表現に効果的に統合できるか？
• RQ2 VAEの潜在空間で学習された次元は解釈可能で、既知の感情次元と整合しているか？
• RQ3 VAEで構築された語彙は、感情検出タスクにおいて個々の語彙や単純連結手法を上回る性能を示すか？
• RQ4 BERTのような最先端の事前学習言語モデルと組み合わせた際、語彙特徴の統合が性能にどのように寄与するか？
• RQ5 どのような状況下で、VAE語彙が既存の語彙とは異なる補完的情報を提供するか？

主な発見

• VAEで構築された語彙は30,273語のユニークなエントリを含み、N=8次元の潜在空間に多様な感情語彙を共通で解釈可能な空間にマッピングすることに成功した。
• 複数のデータセットにおいて、感情検出タスクで個々の語彙を上回る性能を示し、統一されたリソースとしての有効性を裏付けた。
• 期待とは異なり、VAE語彙は単純連結手法を常に上回らないが、連結に含まれる矛盾する情報が一部の状況で有益である可能性を示唆した。
• しかし、VAE語彙は単純連結に追加することで補完的特徴を提供し、両者を別々に用いる場合よりも性能を向上させた。
• 最良の語彙戦略はデータセットによって異なるが、BERT埋め込みと語彙特徴を組み合わせたアプローチが平均的に最高の性能を示した。
• 大規模な事前学習モデルが利用できない低リソース環境下では、特にVAEで構築された語彙が補助的特徴として極めて価値があることがわかった。