[论文解读] Label Distribution Amendment with Emotional Semantic Correlations for Facial Expression Recognition

Shasha Mao, Guanghui Shi+5 more|arXiv (Cornell University)|Jul 23, 2021

Emotion and Mood Recognition参考文献 31被引用 4

一句话总结

本文提出了一种新颖的面部表情识别标签分布修正方法，利用情绪语义相关性来提升标签的可靠性。通过构建语义类别关系图，并与任务空间类别关系图进行比较，该方法根据置信度动态调整标签分布，在RAF-DB等野生表情数据集上表现优异，尤其在标签噪声或模糊条件下表现突出。

ABSTRACT

By utilizing label distribution learning, a probability distribution is assigned for a facial image to express a compound emotion, which effectively improves the problem of label uncertainties and noises occurred in one-hot labels. In practice, it is observed that correlations among emotions are inherently different, such as surprised and happy emotions are more possibly synchronized than surprised and neutral. It indicates the correlation may be crucial for obtaining a reliable label distribution. Based on this, we propose a new method that amends the label distribution of each facial image by leveraging correlations among expressions in the semantic space. Inspired by inherently diverse correlations among word2vecs, the topological information among facial expressions is firstly explored in the semantic space, and each image is embedded into the semantic space. Specially, a class-relation graph is constructed to transfer the semantic correlation among expressions into the task space. By comparing semantic and task class-relation graphs of each image, the confidence of its label distribution is evaluated. Based on the confidence, the label distribution is amended by enhancing samples with higher confidence and weakening samples with lower confidence. Experimental results demonstrate the proposed method is more effective than compared state-of-the-art methods.

研究动机与目标

• 为解决一热编码标签在面部表情识别中的局限性，特别是现实世界（野生）数据集中存在的标签不确定性与噪声问题。
• 利用语义空间表征建模面部表情之间的内在、多样化相关性，例如惊讶与快乐情绪的共现可能性。
• 通过比较语义空间与任务空间类别关系图，基于所得置信度动态修正标签分布，从而提升标签分布的可靠性。
• 证明引入情绪语义相关性可使标签分布更准确且更具可解释性，尤其适用于复合或模糊的表情。

提出的方法

• 使用自编码器将面部图像嵌入语义空间，保留面部表情之间的拓扑关系。
• 基于学习到的语义嵌入构建语义类别关系图，以编码内在情绪相关性（例如：惊讶-快乐 vs. 惊讶-中性）。
• 从训练过程中模型的预测结果中学习任务空间类别关系图，反映当前对类别分配的置信度。
• 通过比较语义空间与任务空间类别关系图来评估每个样本的置信度，识别出具有一致或不一致相关性的样本。
• 通过一种置信度感知的损失函数，对高置信度样本增强其特征与概率，对低置信度样本进行抑制，从而修正标签分布。
• 该方法使用超参数β来平衡原始标签分布与修正后标签分布的影响，最优值在不同噪声水平下通过实验确定。

实验结果

研究问题

• RQ1 如何有效建模面部表情之间的情绪语义相关性，以提升面部表情识别中标签分布的质量？
• RQ2 语义相关性在多大程度上可降低野生表情数据集中标签噪声与不确定性的负面影响？
• RQ3 基于语义空间与任务空间类别关系图比较得出的置信度评分，能否可靠识别出模糊或错误标注的面部表情？
• RQ4 所提出的标签分布修正方法对深度学习模型在面部表情识别中的性能有何影响？
• RQ5 该方法能否生成比基线的一热编码或标准标签分布学习方法更具可解释性与真实感的复合表情标签分布？

主要发现

• 所提出的SCE-ALD方法在三个野生表情数据库（RAF-DB、AffectNet、FER2013）上达到最先进性能，优于现有标签分布学习方法。
• 在RAF-DB数据集上引入30%合成标签噪声时，当β = 0.2时方法达到最高准确率，表明在高噪声条件下低β值为最优配置。
• 该方法对标签噪声具有强鲁棒性，性能提升在高噪声环境下最为显著，证实了基于置信度的标签修正机制的重要性。
• 可视化结果表明，修正后的标签分布在语义上合理：例如，在视觉上以快乐为主导的复合表情中，快乐的概率被赋予更高值。
• 在复合RAF-DB数据集中，模型预测的标签分布与人工标注的多标签高度一致，且概率反映了视觉显著性——例如当悲伤更突出时，悲伤的概率高于恐惧。
• 消融实验确认，标签分布修正机制不可或缺，基线方法（β = 1）的性能劣于所提出的自适应修正策略。