[论文解读] A New Loss Function for CNN Classifier Based on Pre-defined Evenly-Distributed Class Centroids

Qiuyu Zhu, Pengju Zhang+1 more|arXiv (Cornell University)|Apr 12, 2019

Face recognition and analysis参考文献 21被引用 9

一句话总结

本文提出PEDCC-Loss，一种新型的CNN分类器损失函数，通过强制特征嵌入紧密聚集在预定义的、均匀分布的类别中心，最大化类间距离并最小化类内差异。在图像分类和人脸识别任务上的实验表明，该方法实现了最先进精度，并具备稳定且快速的收敛性能。

ABSTRACT

With the development of convolutional neural networks (CNNs) in recent years, the network structure has become more and more complex and varied, and has achieved very good results in pattern recognition, image classification, object detection and tracking. For CNNs used for image classification, in addition to the network structure, more and more research is now focusing on the improvement of the loss function, so as to enlarge the inter-class feature differences, and reduce the intra-class feature variations as soon as possible. Besides the traditional Softmax, typical loss functions include L-Softmax, AM-Softmax, ArcFace, and Center loss, etc. Based on the concept of predefined evenly-distributed class centroids (PEDCC) in CSAE network, this paper proposes a PEDCC-based loss function called PEDCC-Loss, which can make the inter-class distance maximal and intra-class distance small enough in hidden feature space. Multiple experiments on image classification and face recognition have proved that our method achieve the best recognition accuracy, and network training is stable and easy to converge. Code is available in https://github.com/ZLeopard/PEDCC-Loss

研究动机与目标

• 通过增强特征空间中的类间分离性和类内紧凑性，提升CNN分类器的性能。
• 解决现有损失函数在无需端到端中心学习的情况下实现最优特征分布的局限性。
• 开发一种稳定且可收敛的训练方法，利用预定义的、均匀分布的类别中心作为参考点。
• 在通用图像分类和专用人脸识别任务中验证所提损失的有效性。

提出的方法

• 在特征空间中定义一组预设的、均匀分布的类别中心，与训练数据无关。
• 构建一种新型损失函数PEDCC-Loss，最小化特征嵌入与其对应预定义中心之间的L2距离。
• 将基于中心的损失与标准交叉熵损失相结合，联合优化分类准确率与特征聚类效果。
• 采用基于球面编码或均匀分布的固定中心初始化策略，确保嵌入空间中各类别的均匀覆盖。
• 在反向传播过程中优化组合损失，以促使特征向其指定中心收敛。
• 在通用图像分类和人脸识别基准上应用该方法，仅需对网络架构进行最小改动。

实验结果

研究问题

• RQ1 预定义的、均匀分布的类别中心是否能提升CNN中的特征聚类效果与分类准确率？
• RQ2 PEDCC-Loss在收敛速度与稳定性方面相较于现有的基于边界和中心的损失函数表现如何？
• RQ3 与可学习中心相比，使用固定中心是否能在图像分类与人脸识别中带来更好的泛化性能？
• RQ4 所提损失在降低类内差异的同时，使类间距离增大的程度如何？

主要发现

• PEDCC-Loss在多个图像分类基准上实现了最先进识别准确率，优于Softmax、AM-Softmax、ArcFace和Center loss。
• 与现有损失函数相比，该方法展现出更快的收敛速度与更高的训练稳定性。
• 使用预定义的、均匀分布的中心，使所有类别均获得更均匀且更具判别性的特征表示。
• 在人脸识别数据集上，PEDCC-Loss的准确率高于基线方法，证实其在细粒度分类任务中的有效性。