[论文解读] Joint Emotion Label Space Modelling for Affect Lexica

Luna De Bruyne, Pepa Atanasova+1 more|arXiv (Cornell University)|Nov 20, 2019

Sentiment Analysis and Opinion Mining参考文献 65被引用 7

一句话总结

本文通过使用多视角变分自编码器（VAE）将八个现有的情感词典合并，提出一个包含30,273个条目的统一情感词典，将异构的标签空间映射到一个共享的、可解释的潜在空间。由VAE构建的词典在情感检测任务中优于单一词典，但并未始终超越简单的拼接方法；然而，当作为额外特征源添加时，其性能得到提升，表明其在低资源场景下具有互补信息和实用价值。

ABSTRACT

Emotion lexica are commonly used resources to combat data poverty in automatic emotion detection. However, vocabulary coverage issues, differences in construction method and discrepancies in emotion framework and representation result in a heterogeneous landscape of emotion detection resources, calling for a unified approach to utilising them. To combat this, we present an extended emotion lexicon of 30,273 unique entries, which is a result of merging eight existing emotion lexica by means of a multi-view variational autoencoder (VAE). We showed that a VAE is a valid approach for combining lexica with different label spaces into a joint emotion label space with a chosen number of dimensions, and that these dimensions are still interpretable. We tested the utility of the unified VAE lexicon by employing the lexicon values as features in an emotion detection model. We found that the VAE lexicon outperformed individual lexica, but contrary to our expectations, it did not outperform a naive concatenation of lexica, although it did contribute to the naive concatenation when added as an extra lexicon. Furthermore, using lexicon information as additional features on top of state-of-the-art language models usually resulted in a better performance than when no lexicon information was used.

研究动机与目标

• 为解决由于标签空间、构建方法和情感框架不同而导致的情感词典异质性问题。
• 创建一个统一的、高覆盖度的情感词典，将多个现有资源整合为单一、连贯的表示形式。
• 评估基于VAE的情感词典融合方法是否在下游情感检测任务中优于简单的拼接方法和单个词典。
• 评估VAE学习到的潜在维度的可解释性及其与已知情感维度的一致性。
• 探索在低资源场景下以及与最先进语言模型结合时，词典特征的附加价值。

提出的方法

• 使用多视角变分自编码器（VAE）将八个不同的情感词典嵌入到一个共享的低维潜在空间中。
• 每个词典被视为同一潜在词表示的‘视图’，VAE学习共享潜在空间上的联合分布。
• VAE潜在空间的维度可配置（例如，N=8），并通过与普鲁契克（Plutchik）情绪等已知情感维度关联来解释潜在维度。
• VAE生成的词嵌入被用作传统分类器（线性/逻辑回归）和深度学习模型（使用GloVe或BERT的Bi-LSTM）的特征。
• 在13个情感检测数据集上评估性能，比较VAE词典、单个词典和简单拼接方法的表现。
• 模型在最小化重构损失和KL散度损失的同时，学习重构输入词典值，从而实现噪声过滤和表征学习。

实验结果

研究问题

• RQ1 多视角VAE能否有效将具有不同标签空间的情感词典统一为一个连贯的潜在表征？
• RQ2 VAE潜在空间中学习到的维度是否具有可解释性，并与已知的情感维度一致？
• RQ3 基于VAE的情感词典融合方法在监督情感检测任务中是否优于单个词典和简单拼接方法？
• RQ4 当与最先进的预训练语言模型（如BERT）结合时，词典特征的引入如何影响性能？
• RQ5 在何种场景下，VAE词典能提供超越现有词典的互补信息？

主要发现

• VAE构建的词典包含30,273个唯一条目，成功地将多样化的情感词典映射到一个共享的、可解释的潜在空间，潜在维度N=8。
• 在多个数据集上，VAE词典在情感检测任务中的表现优于单个情感词典，表明其作为统一资源的实用性。
• 尽管有预期，VAE词典并未始终优于简单拼接方法，表明在某些情况下拼接中可能仍存在有益的冲突信息。
• 然而，当将VAE词典添加到简单拼接结果中时，其能提供互补信息，使性能超越任一方法单独使用的效果。
• 最佳词典策略因数据集而异，但将词典特征与BERT嵌入结合可获得最高的平均性能。
• 在缺乏大型预训练模型的低资源场景下，情感词典——尤其是VAE构建的词典——作为补充特征仍具有极高价值。