[論文レビュー] Emotion Detection in Text: Focusing on Latent Representation

Armin Seyeditabari, Narges Tabari+2 more|arXiv (Cornell University)|Jul 22, 2019

Sentiment Analysis and Opinion Mining参考文献 26被引用数 10

ひとこと要約

本稿では、順序的および文脈的ニュアンスを捉えることで、より情報豊かな潜在表現を学習する、双方向GRUに基づく深層学習モデルを提案する。この手法は、ツイートデータセットではベースラインモデル比で平均26.8ポイントのF1スコア向上を達成し、よりノイズの多い新しいデータセットでは38.6ポイントの向上を示し、感情分類の全般性と耐障害性に優れていることを示している。

ABSTRACT

In recent years, emotion detection in text has become more popular due to its vast potential applications in marketing, political science, psychology, human-computer interaction, artificial intelligence, etc. In this work, we argue that current methods which are based on conventional machine learning models cannot grasp the intricacy of emotional language by ignoring the sequential nature of the text, and the context. These methods, therefore, are not sufficient to create an applicable and generalizable emotion detection methodology. Understanding these limitations, we present a new network based on a bidirectional GRU model to show that capturing more meaningful information from text can significantly improve the performance of these models. The results show significant improvement with an average of 26.8 point increase in F-measure on our test data and 38.6 increase on the totally new dataset.

研究の動機と目的

• 従来の機械学習モデルがテキスト内の順序的および文脈的情報を無視する傾向があることによる限界を是正すること。
• 深層再帰的アーキテクチャを用いて、テキストのより意味のある潜在表現を学習することで、感情検出性能を向上させること。
• 文脈的および順序的依存関係を捉えることで、低リソースおよびノイズの多い感情カテゴリにわたるモデルの一般化性能が向上するかどうかを評価すること。
• 異なる事前学習済み単語埋め込み（ConceptNet Numberbatch と fastText）が、感情分類におけるモデル性能に与える影響を比較すること。
• モデルの耐障害性を、非標準ラベルが付与された完全に未知のクラウドソーシングデータセット上で検証すること。

提案手法

• モデルは、テキスト内の順序的依存関係を符号化するために、双方向ゲート付き再帰ユニット（GRU）ネットワークを採用し、過去および未来のトークンからの文脈を保持する。
• 最大プーリング層を適用して、GRUの隠れ状態から最も顕著な特徴を抽出する一方で、平均プーリング層によりテキスト全体の表現を捉える。
• 意味的および感情的特徴を豊かにするために、事前学習済み単語埋め込み（ConceptNet Numberbatch および fastText）を入力表現として使用する。
• 最終的な分類ヘッドは、全結合層とソフトマックス活性化関数を用い、7つのカテゴリ（喜び、悲しみ、怒り、愛、恐怖、感謝、驚き）の離散的 emotions を予測する。
• エンドツーエンドで学習する際、過学習を防ぐために検証F1スコアに基づく早期停止を適用し、交差エントロピー損失を用いる。
• モデルは2つのデータセット上で評価される：ハッシュタグラベルが付与されたツイートデータセットとノイズの多い CrowdFlower データセットであり、主な指標としてF1スコアが用いられる。

実験結果

リサーチクエスチョン

• RQ1 双方向GRUベースのモデルは、順序的および文脈的情報を活用することで、従来の機械学習手法を著しく上回る感情検出性能を達成できるか？
• RQ2 より情報豊かな潜在表現を学習することで、高頻度および低頻度の両方の感情カテゴリにおいて、性能がどの程度向上するか？
• RQ3 異なる事前学習済み単語埋め込み（ConceptNet Numberbatch と fastText）が、モデルの性能および耐障害性に与える影響は何か？
• RQ4 モデルは、非標準ラベルが付与された完全に未知のノイズの多いデータセット（例：CrowdFlower データセット）に対しても、効果的に一般化できるか？
• RQ5 提案されたアーキテクチャは、ベースライン手法と比較して、異なる感情クラス間での性能のばらつきを低減するか？

主な発見

• 提案された双方向GRUモデルは、主なデータセットにおいてWangらのベースライン比で平均26.8ポイントのF1スコア向上を達成し、喜びでは10.0ポイントから、驚きでは61.7ポイントまで、それぞれの感情カテゴリで異なる程度の向上を示した。
• CrowdFlower データセットでは、ベースライン比で平均38.6ポイントのF1スコア向上を示し、特に驚きの感情で最高の57ポイントの向上を記録した。
• モデルはベースラインと比較して、感情カテゴリ全体にわたる性能のばらつきが著しく低減されており、より安定的で一般化可能な予測を示している。
• ConceptNet Numberbatch と fastText 埋め込みの間で、有意義な性能差は認められず、埋め込みの選択に対してモデルが頑健であることが示された。
• モデルは、恐怖や驚きといった低リソース感情に対しても高い性能を発揮しており、微細な感情的ニュアンスを効果的に学習できていることが示された。
• モデルは、非標準ラベルが付与されたノイズの多い新しいデータセットに対しても、顕著な一般化性能を示しており、耐障害性および転送可能性が確認された。