[论文解读] Contrastive-center loss for deep neural networks

Ce Qi, Fei Su|arXiv (Cornell University)|Jul 24, 2017

Face recognition and analysis参考文献 17被引用 14

一句话总结

本文提出对比中心损失（contrastive-center loss），一种用于深度神经网络的新颖辅助损失函数，通过联合优化类内紧凑性和类间可分性来增强特征的判别能力。通过惩罚样本到类别中心及非对应类别中心的距离，该方法在无需预选三元组或样本对的情况下，提升了图像分类与人脸识别的性能，在CIFAR-10和LFW数据集上取得了当前最优结果。

ABSTRACT

The deep convolutional neural network(CNN) has significantly raised the performance of image classification and face recognition. Softmax is usually used as supervision, but it only penalizes the classification loss. In this paper, we propose a novel auxiliary supervision signal called contrastivecenter loss, which can further enhance the discriminative power of the features, for it learns a class center for each class. The proposed contrastive-center loss simultaneously considers intra-class compactness and inter-class separability, by penalizing the contrastive values between: (1)the distances of training samples to their corresponding class centers, and (2)the sum of the distances of training samples to their non-corresponding class centers. Experiments on different datasets demonstrate the effectiveness of contrastive-center loss.

研究动机与目标

• 为解决标准Softmax损失的局限性，该损失仅优化分类准确率，而未显式强制实现特征紧凑性或可分性。
• 克服中心损失的不足，该损失虽能提升类内紧凑性，但忽略了类间可分性。
• 开发一种训练信号，可同时增强深度特征中的类内紧凑性与类间可分性。
• 设计一种易于实现的损失函数，无需预先选择训练三元组或样本对，与对比损失或三元组损失不同。
• 通过实证验证所提损失在图像分类与人脸识别基准数据集上的有效性。

提出的方法

• 对比中心损失由两部分组成：(1) 每个样本到其对应类别中心的平均距离；(2) 每个样本到所有非对应类别中心的距离之和。
• 损失函数表述为 $ L_{ct-c} = \frac{1}{2} \frac{1}{m} \big( \text{sum of } ||x_i - c_{y_i}||_2^2 \big) + \frac{1}{2} \frac{1}{m} \big( \text{sum of } \text{sum}_{j \neq y_i} ||x_i - c_j||_2^2 \big) $，其中 $ x_i $ 为特征向量，$ c_{y_i} $ 为真实类别中心，$ c_j $ 为其他类别中心。
• 总训练损失将标准Softmax损失 $ L_s $ 与对比中心损失 $ L_{ct-c} $ 结合，使用平衡超参数 $ \rho $：$ L = L_s + \rho L_{ct-c} $。
• 类别中心通过随机梯度下降在训练过程中更新，梯度通过特征图和中心计算过程反向传播。
• 该方法端到端应用于深度CNN，无需预处理或硬三元组或样本对的采样。
• 该方法在MNIST、CIFAR-10和LFW上使用ResNet架构进行评估，采用标准数据增强与评估协议。

实验结果

研究问题

• RQ1 是否可通过统一的损失函数在不依赖复杂采样策略的前提下，同时提升深度特征的类内紧凑性与类间可分性？
• RQ2 对比中心损失在特征判别能力与分类准确率方面相较于中心损失表现如何？
• RQ3 与标准Softmax训练相比，所提损失是否能提升标准图像分类与人脸识别基准数据集的性能？
• RQ4 对比中心损失是否能在极少架构修改且无需困难样本挖掘的情况下实现最先进性能？
• RQ5 对比中心损失对特征可视化与类别中心分布有何影响？

主要发现

• 在CIFAR-10上，对比中心损失相较于标准Softmax训练将分类准确率提升了1.2%，较中心损失高出0.35%。
• 使用20层ResNet，对比中心损失在CIFAR-10上达到92.45%的准确率，高于标准Softmax的91.25%与中心损失的92.1%。
• 在LFW数据集上，对比中心损失将验证准确率提升至98.68%，较仅使用Softmax的基线模型（97.47%）高出1.21个百分点。
• 对比中心损失在LFW上较中心损失发布模型[13]高出0.25个百分点，较作者复现的中心损失模型高出0.13个百分点。
• 该方法仅使用CASIA-WebFace中的455,594张图像，就在LFW上实现了最先进性能，证明了其在小样本下的有效性。
• 可视化结果表明，使用对比中心损失学习到的特征表现出更紧密的类内聚类与更大的类间间隔，优于基线模型与中心损失模型。