[论文解读] Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

Peng Xu, Andrea Madotto+3 more|arXiv (Cornell University)|Sep 12, 2018

Sentiment Analysis and Opinion Mining参考文献 31被引用 6

一句话总结

Emo2Vec 提出了一种多任务学习框架，通过联合训练六种与情感相关的任务（情感分析、反语检测、压力识别等），学习通用的词级情感表征，实现在多个数据集上达到最先进性能，且训练数据量远少于先前方法（包括 DeepMoji），在与 SSWE 和 GloVe 结合时也优于现有嵌入模型。

ABSTRACT

In this paper, we propose Emo2Vec which encodes emotional semantics into vectors. We train Emo2Vec by multi-task learning six different emotion-related tasks, including emotion/sentiment analysis, sarcasm classification, stress detection, abusive language classification, insult detection, and personality recognition. Our evaluation of Emo2Vec shows that it outperforms existing affect-related representations, such as Sentiment-Specific Word Embedding and DeepMoji embeddings with much smaller training corpora. When concatenated with GloVe, Emo2Vec achieves competitive performances to state-of-the-art results on several tasks using a simple logistic regression classifier.

研究动机与目标

• 为解决标准词嵌入在捕捉情感语义（如反语或压力）方面的局限性，这些语义在 GloVe 等句法或语义向量中并未体现。
• 通过学习统一的多任务表征，克服现有情感嵌入（如 SSWE 仅支持二元情感，DeepMoji 需要海量数据）的泛化能力有限的问题。
• 开发一种可扩展、数据高效的模型，学习跨多样化情感任务的泛化情感感知词表征，而无需依赖大规模标注语料。
• 证明使用 Emo2Vec 嵌入时，简单的逻辑回归分类器也能实现具有竞争力的性能，尤其在与预训练的 GloVe 向量结合时。

提出的方法

• Emo2Vec 使用共享嵌入层（T ∈ ℝ^|V|×k），在六个情感相关任务上联合优化，强制模型学习共享的情感语义。
• 模型采用 1D 卷积神经网络架构，结合卷积、ReLU 激活函数和最大池化操作，从句子级嵌入中提取 n-gram 特征，适用于大规模数据集（d_L）。
• 对于每个小型、任务特定的数据集（d_i），训练独立的逻辑回归分类器（LR_φ_i），并通过所有任务共享参数，以强化情感表征的一致性。
• 最终预测通过 softmax 层完成，将池化后的 CNN 特征投影到目标标签空间。
• 多任务目标函数结合了所有六个任务的交叉熵损失，联合优化共享嵌入矩阵 T 和任务特定分类器。
• Emo2Vec 通过大规模数据集（190 万篇文档）和小型高质量数据集（如 SemEval、Sarcasm、Stress）进行微调，以提升泛化能力并减少过拟合。

实验结果

研究问题

• RQ1 多任务学习框架能否有效学习到可泛化于二元情感之外的多样化情感任务的通用情感表征？
• RQ2 在较小且多样化的感情相关任务集（如反语、侮辱、压力）上进行训练，是否优于单任务训练或在海量语料上训练？
• RQ3 当在远少于现有方法的数据量上进行训练时，Emo2Vec 在多大程度上能超越现有情感嵌入模型（如 SSWE 和 DeepMoji）？
• RQ4 当使用 Emo2Vec 嵌入时，简单的逻辑回归分类器能否实现具有竞争力的性能，尤其是在与预训练的 GloVe 向量结合时？

主要发现

• 尽管仅使用 190 万篇文档（对比 DeepMoji 的 12 亿篇），Emo2Vec 在 18 个数据集中的 13 个上仍优于 DeepMoji，展现出卓越的数据效率。
• 在非情感分析任务上，Emo2Vec 平均准确率提升 1.3%，F1 分数提升 1.1%，证明其具有强大的泛化能力。
• 与 GloVe 结合时，Emo2Vec 实现了与最先进模型相当的性能：GloVe+Emo2Vec 在 14 个数据集中的 13 个上优于 GloVe，且在 14 个中的 11 个上达到或超过 GloVe+DeepMoji 的表现。
• 在非 SS-T 数据集上，Emo2Vec 相较于 SSWE 实现了 3.3% 的准确率增益和 4.7% 的 F1 分数提升，表明其泛化能力优于 SSWE 在二元情感任务上的过拟合问题。
• 在 SE0714 数据集（新闻标题）上，GloVe+Emo2Vec 表现优于 SOTA 模型，归因于模型对短句中情感强烈词汇的敏感性。
• 与单任务基线相比，多任务训练在所有任务上平均带来 1.6% 的绝对 F1 分数提升，证实了共享情感表征学习的优势。