[论文解读] Leave No Stone Unturned: Mine Extra Knowledge for Imbalanced Facial Expression Recognition

Yuhang Zhang, Yaqi Li+3 more|arXiv (Cornell University)|Oct 30, 2023

Emotion and Mood Recognition被引用 7

一句话总结

该论文提出了一种新颖方法，通过从主要类别和少数类别样本中挖掘额外知识，以改善在长尾数据分布下的面部表情识别（FER）性能。该方法引入了重新平衡的注意力一致性与重新平衡的平滑标签，以增强模型泛化能力，在无需数据重采样的情况下，于不平衡的FER基准测试中实现了最先进（SOTA）性能。

ABSTRACT

Facial expression data is characterized by a significant imbalance, with most collected data showing happy or neutral expressions and fewer instances of fear or disgust. This imbalance poses challenges to facial expression recognition (FER) models, hindering their ability to fully understand various human emotional states. Existing FER methods typically report overall accuracy on highly imbalanced test sets but exhibit low performance in terms of the mean accuracy across all expression classes. In this paper, our aim is to address the imbalanced FER problem. Existing methods primarily focus on learning knowledge of minor classes solely from minor-class samples. However, we propose a novel approach to extract extra knowledge related to the minor classes from both major and minor class samples. Our motivation stems from the belief that FER resembles a distribution learning task, wherein a sample may contain information about multiple classes. For instance, a sample from the major class surprise might also contain useful features of the minor class fear. Inspired by that, we propose a novel method that leverages re-balanced attention maps to regularize the model, enabling it to extract transformation invariant information about the minor classes from all training samples. Additionally, we introduce re-balanced smooth labels to regulate the cross-entropy loss, guiding the model to pay more attention to the minor classes by utilizing the extra information regarding the label distribution of the imbalanced training data. Extensive experiments on different datasets and backbones show that the two proposed modules work together to regularize the model and achieve state-of-the-art performance under the imbalanced FER task. Code is available at https://github.com/zyh-uaiaaaa.

研究动机与目标

• 解决真实世界数据集中严重类别不平衡导致的少数情绪类别在面部表情识别（FER）中性能下降的问题。
• 克服现有FER方法仅依赖少数类别样本进行学习的局限性，从而未能利用主要类别中的信息性特征。
• 在保持主要类别高准确率的同时，显著提升所有类别上的平均准确率，避免因数据重采样导致的性能下降。
• 将FER建模为标签分布学习任务，其中来自主要类别的样本隐含包含关于少数类别的知识。
• 开发一种轻量化、主干网络无关的方法，通过从所有训练样本中提取变换不变特征，增强模型泛化能力。

提出的方法

• 提出一种重新平衡的注意力一致性模块，为每个输入样本计算所有表情类别之间的注意力图一致性，使用与每类有效样本数成反比的类别特定重新平衡权重。
• 通过应用类别平衡权重于标签分布，引入重新平衡的平滑标签，以在训练过程中通过正则化交叉熵损失来强调少数类别。
• 利用所有类别（而不仅真实类别）的注意力图来引导模型学习鲁棒且变换不变的表征，受标签分布学习的启发。
• 将重新平衡的注意力一致性作为正则化损失，以防止对噪声标签的过记忆，提升特征泛化能力。
• 将重新平衡的平滑标签损失与标准交叉熵损失结合，引导模型决策边界更优地分离少数类别。
• 通过设计即插即用模块，确保与多种主干网络（如ResNet、视觉Transformer）兼容，无需修改网络架构。

实验结果

研究问题

• RQ1 主要面部表情类别（如惊讶）的样本是否可能包含可用于识别少数类别（如恐惧或厌恶）的有用、可迁移的特征？
• RQ2 如何在不改变数据集分布的前提下，有效提取并利用来自主要类别和少数类别样本中关于少数类别的知识？
• RQ3 重新平衡的注意力一致性是否能在长尾FER中超越标准注意力正则化，提升模型鲁棒性与泛化能力？
• RQ4 基于标签分布知识引入的重新平衡平滑标签，是否能在不降低主要类别准确率的前提下，提升少数类别的性能？
• RQ5 该方法在不同主干网络与具有不同不平衡程度的数据集之间，其泛化能力能达到何种程度？

主要发现

• 所提方法在多个不平衡FER基准测试（包括RAF-DB、AffectNet和FERPlus）上实现了最先进平均准确率，优于现有SOTA方法。
• 在RAF-DB数据集（具有长尾分布）上，与基线模型相比，该方法将平均准确率最高提升了4.2%，同时保持了高整体准确率。
• 消融实验表明，重新平衡的注意力一致性与重新平衡的平滑标签模块在性能提升中均独立且协同发挥作用。
• 该方法在不同主干网络（包括ResNet-50与视觉Transformer）上均表现出一致的性能提升，展现出强大的泛化能力与即插即用兼容性。
• 模型在少数类别（如恐惧、厌恶）上表现更优，同时主要类别（如快乐、中性）的性能未出现显著下降，有效解决了类别不平衡的核心挑战。
• 该方法轻量化且高效，无需数据重采样或复杂架构修改，适用于实际部署。