[论文解读] HICEM: A High-Coverage Emotion Model for Artificial Emotional Intelligence

Benjamin Wortman, James Z. Wang|arXiv (Cornell University)|Jun 15, 2022

Emotion and Mood Recognition被引用 5

一句话总结

HICEM 提出了一种高覆盖度的情感模型，包含15种离散情感类别，这些类别源自多语言词嵌入的无监督聚类，实现了对六种语言中1,720个情感概念的近乎最大覆盖，同时最小化了标签重叠。该模型在覆盖效率方面优于现有情感模型，并提供了一套基于词向量语义相似性的原则化情感模型评估框架。

ABSTRACT

As social robots and other intelligent machines enter the home, artificial emotional intelligence (AEI) is taking center stage to address users' desire for deeper, more meaningful human-machine interaction. To accomplish such efficacious interaction, the next-generation AEI need comprehensive human emotion models for training. Unlike theory of emotion, which has been the historical focus in psychology, emotion models are a descriptive tools. In practice, the strongest models need robust coverage, which means defining the smallest core set of emotions from which all others can be derived. To achieve the desired coverage, we turn to word embeddings from natural language processing. Using unsupervised clustering techniques, our experiments show that with as few as 15 discrete emotion categories, we can provide maximum coverage across six major languages--Arabic, Chinese, English, French, Spanish, and Russian. In support of our findings, we also examine annotations from two large-scale emotion recognition datasets to assess the validity of existing emotion models compared to human perception at scale. Because robust, comprehensive emotion models are foundational for developing real-world affective computing applications, this work has broad implications in social robotics, human-machine interaction, mental healthcare, and computational psychology.

研究动机与目标

• 开发一种高覆盖度、低重叠的情感模型，用于人工情感智能（AEI），以支持自然的人机交互。
• 解决现有情感模型的局限性，这些模型或覆盖不足，或存在过多重叠的标签。
• 提出一种基于数据驱动的、原则化的评估方法，利用大量情感概念的语义相似性来评估情感模型。
• 识别出一组最小核心情感，能够代表多种文化背景下的完整人类情感体验。

提出的方法

• 使用 FastText 词嵌入表示阿拉伯语、中文、英语、法语、西班牙语和俄语中1,720个情感概念。
• 应用无监督聚类（通过 UMAP 和 k-means）将情感概念聚合成语义一致的簇。
• 使用 UMAP 进行降维，以保留全局语义结构，同时可视化模型的覆盖范围。
• 通过情感概念向量与模型簇中心之间的最大对数余弦相似度来量化模型覆盖度。
• 通过相同的语义相似性度量，将模型覆盖度与现有模型（如 Ekman、Plutchik、GoEmotions）进行对比，验证模型质量。
• 使用每个簇的中位向量生成每个情感标签的代表性总结词。

Figure 1: Existing emotion models provide incomplete representations across the entire emotion space. Here we visualize the maximum log cosine similarity (with a ceiling of 0.5) between the word vectors of 1,720 emotion concepts and the contents of the model. A higher cosine similarity (yellow) mean

实验结果

研究问题

• RQ1 一个最小的离散情感类别集合是否能实现在多种语言和情感概念上的最大覆盖？
• RQ2 现有情感模型的覆盖度与人类对情感的感知相比如何，这种比较是否可通过与词嵌入的语义相似性来衡量？
• RQ3 在最小化标签重叠的同时最大化人类情感空间覆盖度的前提下，情感成分的最优数量是多少？
• RQ4 多语言词嵌入和聚类技术能否识别出跨文化的普遍情感核心？
• RQ5 与连续维度模型（如 VAD）相比，HICEM 在覆盖度和人工情感智能应用中的实际效用如何？

主要发现

• HICEM 使用15个组件，在六种主要语言中实现了对1,720个情感概念的近乎最大覆盖，优于包含更多标签的模型（如 Plutchik 的32标签轮盘）。
• 该模型在标签重叠方面显著优于现有模型，包括 GoEmotions（28个标签）和 Cowen 的27标签模型。
• HICEM-15 提供的覆盖度与 Plutchik 模型相当，但组件数量仅为一半，证明了其更高的效率。
• 分析表明，现有情感模型（包括 Ekman 的7种基本情绪）在覆盖度上仍显不足，导致人类情感空间的大量区域未被代表。
• 词嵌入和聚类技术成功识别出15种情感成分的普遍核心，这些成分在不同文化和语言中保持一致。
• 本研究证实，连续维度模型（如 VAD）与 HICEM 互补，未来数据收集中可能无需再强调主导性。

Figure 2: Our pipeline for generating a cross cultural, high-coverage model of emotion. Starting with our list of emotion-concepts, we generate their FastText word vectors. Then we perform dimensionality reduction and clustering to generate summary words. This process was repeated to create summary