[论文解读] Deep Covariance Descriptors for Facial Expression Recognition
本文提出将VGG-face和ExpNet提取的特征编码为对称正定（SPD）矩阵，以深度协方差描述子的形式在黎曼流形上进行人脸识别表情识别。通过在SPD流形上应用高斯RBF核，该方法在Oulu-CASIA和SFEW数据集上实现了最先进性能，优于使用全连接层的标准Softmax分类方法。
In this paper, covariance matrices are exploited to encode the deep convolutional neural networks (DCNN) features for facial expression recognition. The space geometry of the covariance matrices is that of Symmetric Positive Definite (SPD) matrices. By performing the classification of the facial expressions using Gaussian kernel on SPD manifold, we show that the covariance descriptors computed on DCNN features are more efficient than the standard classification with fully connected layers and softmax. By implementing our approach using the VGG-face and ExpNet architectures with extensive experiments on the Oulu-CASIA and SFEW datasets, we show that the proposed approach achieves performance at the state of the art for facial expression recognition.
研究动机与目标
- 通过将深度CNN特征编码为紧凑且具有判别性的表示，以捕捉空间关系，从而提升人脸识别表情识别性能。
- 克服标准DCNN在建模面部区域内部空间依赖性方面的局限性。
- 探索协方差矩阵作为对称正定（SPD）流形上的点的几何结构，以提升分类性能。
- 在基准数据集上评估所提方法，并与最先进方法进行比较。
- 研究全局和局部协方差描述子在捕捉表情特异性模式方面的有效性。
提出的方法
- 从预训练的VGG-face和ExpNet模型中提取面部图像的深度卷积特征。
- 通过将512个特征图聚合为每张图像一个单一的SPD矩阵，计算全局协方差描述子。
- 利用关键点检测局部面部区域，并提取区域特异性特征图以生成局部协方差描述子。
- 将每个局部区域的特征表示为局部协方差矩阵，形成一组SPD矩阵。
- 在SPD流形上应用有效的正定高斯RBF核，以支持基于SVM的分类。
- 利用SPD矩阵的黎曼几何结构训练并评估分类器，充分发挥流形的内在结构优势。
实验结果
研究问题
- RQ1与标准Softmax分类相比，深度CNN特征的协方差描述子是否能提升人脸识别表情识别性能？
- RQ2SPD流形的几何结构如何增强人脸识别数据的分类性能？
- RQ3结合全局和局部协方差描述子是否比单独使用任一描述子获得更好的性能？
- RQ4在Oulu-CASIA和SFEW等标准基准数据集上，所提方法与最先进方法相比表现如何？
- RQ5关键点检测的可靠性对局部协方差描述子质量的影响如何，特别是在SFEW等具有挑战性的数据集上？
主要发现
- 所提方法在Oulu-CASIA数据集上实现了最先进性能，优于使用相同评估协议的先前方法。
- 在SFEW数据集上，该方法取得了第二高的准确率，显著超越了多个最先进方法。
- 在SPD流形上使用高斯RBF核相比使用全连接层的标准Softmax分类，带来了更好的分类性能。
- 可视化结果表明，相似表情的协方差描述子呈现出一致的颜色模式（例如，快乐表情为粉色/紫色，惊讶表情为蓝色），表明模型学习到了具有判别性的特征。
- 局部协方差描述子捕捉到了每个面部区域的独特模式，表明其在空间建模方面具有有效性。
- 在约30%的SFEW图像中，面部关键点检测失败，限制了在该数据集上结合局部与全局描述子的收益。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。