[论文解读] A Circular-Structured Representation for Visual Emotion Distribution Learning

Jingyuan Yang, Jie Li+3 more|arXiv (Cornell University)|Jun 23, 2021

Sentiment Analysis and Opinion Mining参考文献 46被引用 4

一句话总结

本文提出了一种用于视觉情绪分布学习的环形结构表示方法，将情绪建模为基于极性、类型和强度定义的‘情绪圆’上的向量，并引入一种渐进式环形（PC）损失，以粗到细的方式优化预测。该方法在三个公开数据集上优于当前最先进方法，有效利用了情绪关系的心理学先验知识。

ABSTRACT

Visual Emotion Analysis (VEA) has attracted increasing attention recently with the prevalence of sharing images on social networks. Since human emotions are ambiguous and subjective, it is more reasonable to address VEA in a label distribution learning (LDL) paradigm rather than a single-label classification task. Different from other LDL tasks, there exist intrinsic relationships between emotions and unique characteristics within them, as demonstrated in psychological theories. Inspired by this, we propose a well-grounded circular-structured representation to utilize the prior knowledge for visual emotion distribution learning. To be specific, we first construct an Emotion Circle to unify any emotional state within it. On the proposed Emotion Circle, each emotion distribution is represented with an emotion vector, which is defined with three attributes (i.e., emotion polarity, emotion type, emotion intensity) as well as two properties (i.e., similarity, additivity). Besides, we design a novel Progressive Circular (PC) loss to penalize the dissimilarities between predicted emotion vector and labeled one in a coarse-to-fine manner, which further boosts the learning process in an emotion-specific way. Extensive experiments and comparisons are conducted on public visual emotion distribution datasets, and the results demonstrate that the proposed method outperforms the state-of-the-art methods.

研究动机与目标

• 为解决视觉情绪分析（VEA）中单标签分类的局限性，后者过度简化了人类情绪的模糊性与主观性。
• 基于心理学理论（如Mikel’s Wheel），建模内在情绪关系，如极性、类型和强度。
• 提出一种新型表示方法，将基本情绪与复合情绪统一于环形结构中，以实现更精确的分布学习。
• 设计一种渐进式环形（PC）损失，以粗到细的方式施加情绪特异性约束，提升预测保真度。
• 在标准视觉情绪分布数据集上，证明该方法优于当前最先进方法。

提出的方法

• 构建一个情绪圆，将八种基本情绪表示为均匀分布的单位向量，基于心理学模型形成环形结构。
• 通过基本情绪向量的加权组合，将任意情绪分布表示为复合情绪向量，其属性包括：极性、类型和强度。
• 定义两个关键属性：相似性（圆上的角度接近度）与可加性（向量和的一致性），以保持情绪关系的完整性。
• 提出一种渐进式环形（PC）损失，按顺序施加三种约束：极性损失、类型损失和强度损失，以引导预测逐步优化。
• 将PC损失与标准的Kullback-Leibler（KL）散度损失结合，使用超参数μ=0.7以平衡情绪特异性与一般分布学习。
• 采用多头网络头预测情绪向量，并在训练过程中应用PC损失，以强制实现结构与语义一致性。

实验结果

研究问题

• RQ1 在视觉情绪分布学习中，如何有效建模内在情绪关系，如极性、类型和强度？
• RQ2 环形结构表示能否在心理学基础上统一基本情绪与复合情绪状态？
• RQ3 与标准损失相比，一种施加极性、类型与强度约束的渐进式、粗到细的损失函数是否能提升预测准确率？
• RQ4 心理先验知识（如Mikel’s Wheel）的整合如何增强视觉情绪分布学习的性能？
• RQ5 PC损失与标准KL散度损失之间，最优平衡点为何？

主要发现

• 所提方法在三个公开数据集（Flickr_LDL、Twitter_LDL 和 AffectNet-Emotion）上持续优于当前最先进方法。
• 当同时应用全部三项约束（极性、类型、强度）时，渐进式环形（PC）损失显著提升性能，且各项约束独立且逐步贡献。
• 消融实验确认，PC损失的每一项组件均不可或缺，移除任一约束均导致性能下降。
• 最优超参数μ=0.7能有效平衡PC损失与KL损失，当μ过高或过低时性能均下降。
• 可视化结果表明，该模型能准确恢复简单与复杂的情绪分布，尤其在保持极性与强度方面表现优异。
• 随着PC损失的引入，Top-1准确率提升，表明模型对分布中主导情绪的预测能力更强。