[論文レビュー] A Sentiment-and-Semantics-Based Approach for Emotion Detection in Textual Conversations

Umang Gupta, Ankush Chatterjee+2 more|arXiv (Cornell University)|Jul 21, 2017

Sentiment Analysis and Opinion Mining参考文献 28被引用数 82

ひとこと要約

本論文はSS-LSTMを提案する。これはセマンティック（GloVe）と感情（SSWE）表現を組み合わせたデュアル埋め込みLSTMモデルで、3ターンのテキスト会話における感情（Happy, Sad, Angry, Others）を検出し、従来のMLや他のDLベースラインを上回る。

ABSTRACT

Emotions are physiological states generated in humans in reaction to internal or external events. They are complex and studied across numerous fields including computer science. As humans, on reading "Why don't you ever text me!" we can either interpret it as a sad or angry emotion and the same ambiguity exists for machines. Lack of facial expressions and voice modulations make detecting emotions from text a challenging problem. However, as humans increasingly communicate using text messaging applications, and digital agents gain popularity in our society, it is essential that these digital agents are emotion aware, and respond accordingly. In this paper, we propose a novel approach to detect emotions like happy, sad or angry in textual conversations using an LSTM based Deep Learning model. Our approach consists of semi-automated techniques to gather training data for our model. We exploit advantages of semantic and sentiment based embeddings and propose a solution combining both. Our work is evaluated on real-world conversations and significantly outperforms traditional Machine Learning baselines as well as other off-the-shelf Deep Learning models.

研究の動機と目的

• 顔特徴や声の手掛かりがないテキストだけの会話における感情検出を動機づける。
• 手作りの特徴を避け、データ効率の高い深層学習モデルを開発する。
• 意味表現と感情埋め込みを組み合わせた場合の感情分類性能向上への影響を探る。

提案手法

• SS-LSTMを提案: 同じ発話を二つの平行LSTMブランチが異なる埋め込みで処理する（意味表現にはGloVe、感情表現にはSSWE）。
• 2つの特徴表現を結合し、1つの隠れ層を持つ全結合ネットワークに入力して感情クラスの確率を出力する。
• SGDを用いたクロスエントロピー損失とソフトマックスで訓練; バッチサイズ4000、学習率0.005。
• TwitterのQ-Asからの半自動ラベリングによる大規模訓練データの作成、さらに絵文字/顔文字正規化とデータ拡張技法。
• MLベースライン（NB、SVM、GBDT）とDLベースライン（CNN-NAVA、LSTM系）と比較する。

実験結果

リサーチクエスチョン

• RQ1 Can combining sentiment-specific and semantic embeddings improve emotion recognition in textual conversations?
• RQ2 How do SS-LSTM variants compare to standard DL and traditional ML approaches on real-world conversational data?
• RQ3 What is the impact of embedding choice (GloVe vs SSWE) on semantic/sentiment feature learning for emotion detection?
• RQ4 How does emoticon handling and data collection strategy affect model performance?

主な発見

Model	Happy Precision	Happy Recall	Happy F1	Sad Precision	Sad Recall	Sad F1	Angry Precision	Angry Recall	Angry F1	Avg F1
NB	41.35	50.46	45.45	70.87	68.22	69.52	38.16	32.22	34.94	49.97
SVM	66.67	25.69	37.09	86.49	59.81	70.71	85.42	45.56	59.42	55.74
GBDT	75.76	22.94	35.21	89.47	63.55	74.31	86	47.78	61.43	56.98
CNN-NAVA	63.32	42.29	50.71	79.37	68.69	73.64	67.42	45.79	54.54	59.63
CNN-SSWE	67.69	40.37	50.57	77.45	73.83	75.60	80.95	37.77	51.51	59.23
LSTM-SSWE	70.69	37.61	49.10	83.87	72.89	78.00	73.24	57.77	64.60	63.90
LSTM-GloVe	64.18	39.45	48.86	72.88	80.37	76.44	72.15	63.33	67.45	64.25
SS-LSTM	69.51	52.29	59.68	85.42	76.63	80.79	87.69	63.33	73.55	71.34

• SS-LSTMはすべてのベースラインと比較して感情クラスの平均F1を最も高く達成。
• SS-LSTMはCNNベースのアプローチや他のLSTM/埋め込み変種を統計的に有意な改善で上回る（p < 0.005）。
• GloVeベースの意味埋め込みとSSWE感情埋め込みの組み合わせは高い性能を示し、SS-LSTMでの使用を正当化する。
• 深層学習モデルは一般に評価データセットで伝統的なMLベースライン（NB、SVM、GBDT）を上回る。
• 提案されたデータ収集と絵文字正規化戦略は会話コンテキストにおける感情検出の訓練データ質の向上に寄与する。