[论文解读] Island Loss for Learning Discriminative Features in Facial Expression Recognition

Jie Cai, Zibo Meng+4 more|arXiv (Cornell University)|Oct 9, 2017

Emotion and Mood Recognition被引用 13

一句话总结

本文提出了一种新颖的岛屿损失（IL），通过同时减少类内差异并增加类间可分性，以增强面部表情识别中的判别性特征学习。使用软最大值损失和岛屿损失联合训练的IL-CNN模型，在四个基准数据集（包括具有挑战性的SFEW数据集）上实现了最先进性能，其在嵌入空间中形成了紧凑且分离良好的特征簇。

ABSTRACT

Over the past few years, Convolutional Neural Networks (CNNs) have shown promise on facial expression recognition. However, the performance degrades dramatically under real-world settings due to variations introduced by subtle facial appearance changes, head pose variations, illumination changes, and occlusions. In this paper, a novel island loss is proposed to enhance the discriminative power of the deeply learned features. Specifically, the IL is designed to reduce the intra-class variations while enlarging the inter-class differences simultaneously. Experimental results on four benchmark expression databases have demonstrated that the CNN with the proposed island loss (IL-CNN) outperforms the baseline CNN models with either traditional softmax loss or the center loss and achieves comparable or better performance compared with the state-of-the-art methods for facial expression recognition.

研究动机与目标

• 解决在姿态、光照和遮挡变化等真实场景条件下，面部表情识别中类内差异高和类间相似性高的问题。
• 通过显式减少类内方差并增加类间距离，提升CNN学习的深度特征的判别能力。
• 设计一种通用的损失函数，无需依赖辅助结构或复杂架构，即可增强特征的紧凑性和可分性。
• 在包括具有挑战性的SFEW数据集在内的受控和自发面部表情数据库上，验证所提损失的有效性。

提出的方法

• 岛屿损失（IL）被设计为联合优化目标，将特征拉向其类别中心（减少类内差异），同时将类别中心相互推开（增加类间距离）。
• IL应用于CNN的第二个全连接层，而最终分类层使用标准的软最大值损失，从而实现联合优化。
• 损失函数被制定为最小化每个样本与其类别中心之间的距离，同时最大化类别中心之间的距离，采用余弦相似度作为度量标准。
• 模型架构包含三个卷积层，使用PReLU激活函数和批归一化，前两个卷积层后接最大池化，两个全连接层用于表示学习。
• 使用t-SNE可视化方法定性比较使用软最大值损失、中心损失和所提出的岛屿损失学习到的特征分布。
• 通过计算类别中心之间以及样本与其对应中心之间的余弦距离，定量评估类内紧凑性和类间可分性。

实验结果

研究问题

• RQ1 新的损失函数是否能通过同时减少类内方差和增加类间距离，提升面部表情识别中深度特征的判别质量？
• RQ2 与传统的软最大值损失和中心损失相比，所提出的岛屿损失在类内紧凑性和类间可分性方面表现如何？
• RQ3 岛屿损失是否在包括受控行为和自发表情数据在内的多样化数据集上均带来一致的性能提升？
• RQ4 岛屿损失是否可泛化至面部表情识别以外的其他基于CNN的识别任务？

主要发现

• 在SFEW数据集上，IL-CNN在使用集成学习时达到59.41%的测试集准确率，显著优于基线软最大值损失（52.12%）和中心损失（53.79%）。
• 在所有数据集中，岛屿损失均实现了最大的平均中心间余弦距离（CK+为0.4396，MMI为0.5250，CASIA为0.4562，SFEW验证集为0.3778），表明其具有更优的类间可分性。
• 岛屿损失实现了最小的平均样本到中心距离（CK+为0.0194，MMI为0.0618，CASIA为0.0307，SFEW验证集为0.0689），表明其类内差异显著低于软最大值损失和中心损失。
• t-SNE可视化结果证实，使用岛屿损失学习到的特征形成更紧密、更易分离的簇，尤其在重叠区域表现更优。
• IL-CNN在全部四个基准数据集上均达到最先进或相当的性能，包括具有真实世界变化的挑战性SFEW数据集。
• 消融实验验证了岛屿损失在持续提升类间距离和类内紧凑性方面的有效性，证实了其双重优化目标的合理性。