[論文レビュー] Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

Peng Xu, Andrea Madotto+3 more|arXiv (Cornell University)|Sep 12, 2018

Sentiment Analysis and Opinion Mining参考文献 31被引用数 6

ひとこと要約

Emo2Vecは、感情関連の6つのタスク（センチメント分析、皮肉検出、ストレス認識など）を同時に学習するマルチタスク学習フレームワークを提案し、従来の手法（DeepMojiなど）と比較してはるかに少ない学習データで複数のデータセットで最先端の性能を達成した。また、SSWE や GloVe と組み合わせた場合にも、既存の埋め込み表現を上回った。

ABSTRACT

In this paper, we propose Emo2Vec which encodes emotional semantics into vectors. We train Emo2Vec by multi-task learning six different emotion-related tasks, including emotion/sentiment analysis, sarcasm classification, stress detection, abusive language classification, insult detection, and personality recognition. Our evaluation of Emo2Vec shows that it outperforms existing affect-related representations, such as Sentiment-Specific Word Embedding and DeepMoji embeddings with much smaller training corpora. When concatenated with GloVe, Emo2Vec achieves competitive performances to state-of-the-art results on several tasks using a simple logistic regression classifier.

研究の動機と目的

• GloVeのような構文的・意味的ベクトルでは反映されない感情的意味（例：皮肉、ストレス）を捉えることができない標準的な単語埋め込み表現の限界を解消すること。
• SSWE（バイナリセンチメントに限定） や DeepMoji（膨大なデータを必要とする）といった既存の感情埋め込み表現の一般化の狭さを克服し、統一的でマルチタスクな表現を学習すること。
• 大量のラベル付きコーパスを必要としない、スケーラブルでデータ効率の良い感情認識単語表現の学習法を構築すること。
• Emo2Vec埋め込み表現を用いた単純なロジスティック回帰分類器が、特に事前学習済みのGloVeベクトルと組み合わせた場合に、競争力のある性能を示すことを実証すること。

提案手法

• Emo2Vecは、6つの感情関連タスクで共通する埋め込み層（T ∈ ℝ^|V|×k）を共同最適化することで、感情的意味の共有を学習する。
• 大規模データセット（d_L）の文レベル埋め込みからn-gram特徴を抽出するために、1次元畳み込み、ReLU活性化関数、マックスプーリングを用いたCNNアーキテクチャを採用する。
• 各小規模なタスク固有のデータセット（d_i）に対して、共有パラメータを持つロジスティック回帰分類器（LR_φ_i）を別々に学習し、感情表現の整合性を強制する。
• プールドされたCNN特徴に対してソフトマックス層を適用し、文の表現をターゲットラベル空間に射影することで最終予測を行う。
• マルチタスクの目的関数は、6つのタスクすべての交差エントロピー損失を組み合わせ、共有埋め込み行列Tとタスク固有の分類器を同時に最適化する。
• Emo2Vecは、大規模データセット（1.9Mドキュメント）と小規模で高品質なデータセット（例：SemEval、Sarcasm、Stress）を用いて微調整することで、一般化性能を向上させ、過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、バイナリセンチメントを超える多様な感情的タスクに一般化可能な感情表現を効果的に学習できるか？
• RQ2 皮肉、中傷、ストレスなど多様な感情関連タスクを小規模に学習することで、単一タスクや大規模コーパスでの学習に比べて性能が向上するか？
• RQ3 極めて少ないデータで学習した場合、Emo2VecはSSWE や DeepMoji といった既存の感情埋め込み表現をどれほど上回るか？
• RQ4 Emo2Vec埋め込み表現を用いた単純なロジスティック回帰分類器は、特に事前学習済みGloVeベクトルと組み合わせた場合に、競争力のある性能を示せるか？

主な発見

• Emo2Vecは、DeepMojiが12億ドキュメントで学習したのに対し、190万ドキュメントでの学習にもかかわらず、18のデータセットのうち13で性能を上回った。これは、データ効率の優位性を示している。
• 非センチメントタスク全体で、Emo2Vecは平均して正解率を1.3%、F1スコアを1.1%向上させ、強力な一般化性能を示した。
• GloVeと連結した場合、Emo2Vecは最先端モデルと同等の性能を達成した：GloVe+Emo2Vecは14のデータセットのうち13でGloVeを上回り、14のうち11でGloVe+DeepMojiを同等以上に上回った。
• 非SS-Tデータセットでは、Emo2VecはSSWEに比べ正解率で3.3%、F1スコアで4.7%の向上を示し、バイナリセンチメントに過剰適合するSSWEよりも優れた一般化性能を示した。
• SE0714データセット（見出し）では、GloVe+Emo2VecがSOTAを上回った。これは、モデルが短いが感情的に強い語に敏感であることに起因する。
• マルチタスク学習により、単一タスクベースラインと比較して、平均で1.6%のF1スコアの絶対的向上が得られ、共有感情表現学習の有効性が裏付けられた。