[論文レビュー] Emotion Representation Mapping for Automatic Lexicon Construction (Mostly) Performs on Human Level

Sven Buechel, Udo Hahn|arXiv (Cornell University)|Jun 22, 2018

Sentiment Analysis and Opinion Mining参考文献 49被引用数 20

ひとこと要約

本論文は、感情レーティングを異なるフォーマット（例：Valence-Arousal-Dominance (VAD) と基本感情）間で変換するための深層ニューラルネットワークモデルである感情表現マッピング（ERM）を提案し、先行する最先端手法を上回る性能を示した。主な貢献は、言語を越えて、モデルの予測が人間のアノテーションとほぼ同等の信頼性を持つことを示したことである。これにより、13の多様な言語における高品質で自動構築された感情語彙の作成が可能になった。

ABSTRACT

Emotion Representation Mapping (ERM) has the goal to convert existing emotion ratings from one representation format into another one, e.g., mapping Valence-Arousal-Dominance annotations for words or sentences into Ekman's Basic Emotions and vice versa. ERM can thus not only be considered as an alternative to Word Emotion Induction (WEI) techniques for automatic emotion lexicon construction but may also help mitigate problems that come from the proliferation of emotion representation formats in recent years. We propose a new neural network approach to ERM that not only outperforms the previous state-of-the-art. Equally important, we present a refined evaluation methodology and gather strong evidence that our model yields results which are (almost) as reliable as human annotations, even in cross-lingual settings. Based on these results we generate new emotion ratings for 13 typologically diverse languages and claim that they have near-gold quality, at least.

研究の動機と目的

• 自動感情語彙構築のための、Word Emotion Induction (WEI) 技術を改善するニューラルネットワークベースのアプローチを考案すること。
• 感情表現フォーマットの増加する断片化に対処し、感情リソースのフォーマット間および言語間の相互運用性を可能にすること。
• 正規化されたスプリット・ハーフ信頼性スコアを用いて、モデルの予測と人間のアノテーション信頼性を直接比較する、きめ細かい評価フレームワークを確立すること。
• 提案されたERMモデルを用いて、13の語彙的・言語的に多様な言語の高品質で自動構築された感情語彙を生成すること。
• トレーニング済みモデル、コード、および新たに構築された語彙を公開し、再現可能性とコミュニティ利用を支援すること。

提案手法

• 感情レーティングをValence-Arousal-Dominance (VAD) と Basic Emotions (BE5) のフォーマット間でマッピングするためのフィードフォワードニューラルネットワーク（FFNN）モデルを提案し、単語レベルの埋め込みとマルチヘッドアテンション機構を活用する。
• 英語、スペイン語、ドイツ語、ポーランド語、オランダ語、イタリア語、ポルトガル語の7言語で10のデータセットを含む、既存の心理的語彙からなる多言語データを用いてモデルを学習した。さらに、ギリシャ語、フランス語、スウェーデン語、フィンランド語、中国語のデータも追加した。
• 正規化されたスプリット・ハーフ信頼性に基づく洗練された評価手法を採用し、モデルの予測と人間のアノテーション信頼性を比較することで、モデル性能の直接的なベンチマークが可能になった。
• モデルを単言語および多言語設定の両方で適用：単言語モードでは、言語固有のトレーニングデータを使用。多言語モードでは、利用可能な全言語のデータを統合（支配性（Dominance）は互換性のため除く）。
• 単語正規化、埋め込みの整合化、VADでは平均二乗誤差、BE5では交差エントロピーを用いた損失最小化を含む一貫した前処理パイプラインを採用した。
• 単言語データでは10分割交差検証を、多言語データでは交差検証を用いない直接評価を実施し、実世界への適用可能性を保証した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのERMモデルは、VADとBE5フォーマット間の感情レーティングマッピングにおいて、既存の最先端のWEIおよびERM手法を上回ることができるか？
• RQ2 特に多言語設定において、提案されたERMモデルは人間のアノテーションの信頼性とどの程度一致するか？
• RQ3 モデルは、語彙的・言語的に多様な複数の言語に対して、ほぼゴールド品質の感情語彙を生成できるか？
• RQ4 正規化されたスプリット・ハーフ信頼性に基づく提案された評価手法は、モデル性能と人間性能を比較する有効でスケーラブルなベンチマークを提供するか？
• RQ5 多言語設定と単言語設定の両方において、モデルの性能は異なる言語や感情次元（例：Valence, Arousal, Joy, Anger）でどのように変化するか？

主な発見

• 提案されたFFNNモデルは、単言語および多言語のERMタスクにおいて、すべての評価対象の感情次元で、先行する最先端手法を上回る性能を示した。
• 単言語設定では、人間のレーティング者と同等の性能を達成し、ValenceおよびArousalでは10件中8件が人間の信頼性を超えた。BE5では25件中11件が人間の性能を上回った。
• 多言語設定でも高い性能を維持し、ValenceおよびJoyでは平均で1%ポイント未満の低下（わずかな低下）、他の次元では最大5%ポイントの低下を示した。これは、汎化性能が優れていることを示している。
• 正規化されたスプリット・ハーフ信頼性を人間アノテーションと比較した結果、モデルの予測は特に多言語応用においてほぼゴールド品質であると評価された。
• 研究者たちは13の言語の感情語彙を成功裏に構築した。最も大きい語彙は12,884語（英語、BE5フォーマット）であり、すべてGitHubで公開された。
• 本研究は、ERMがWEIの代替手段として有効であることを示した。特に、互換性のない感情表現フォーマット間での相互運用性を可能にするという利点がある。