[论文解读] Deep Imbalanced Learning for Face Recognition and Attribute Prediction

Chen Huang, Yining Li+2 more|arXiv (Cornell University)|Jun 1, 2018

Face recognition and analysis参考文献 72被引用 30

一句话总结

本文提出了一种基于聚类的大 margin 局部嵌入（CLMLE）深度学习方法，通过在超球面上强制实施聚类之间的角度 margin，缓解人脸识别和属性预测中的类别不平衡问题。通过保持类内与类间聚类的 margin，CLMLE 实现了更均衡的局部决策边界，在具有类别不平衡的基准数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Data for face analysis often exhibit highly-skewed class distribution, i.e., most data belong to a few majority classes, while the minority classes only contain a scarce amount of instances. To mitigate this issue, contemporary deep learning methods typically follow classic strategies such as class re-sampling or cost-sensitive training. In this paper, we conduct extensive and systematic experiments to validate the effectiveness of these classic schemes for representation learning on class-imbalanced data. We further demonstrate that more discriminative deep representation can be learned by enforcing a deep network to maintain inter-cluster margins both within and between classes. This tight constraint effectively reduces the class imbalance inherent in the local data neighborhood, thus carving much more balanced class boundaries locally. We show that it is easy to deploy angular margins between the cluster distributions on a hypersphere manifold. Such learned Cluster-based Large Margin Local Embedding (CLMLE), when combined with a simple k-nearest cluster algorithm, shows significant improvements in accuracy over existing methods on both face recognition and face attribute prediction tasks that exhibit imbalanced class distribution.

研究动机与目标

• 为解决深度表示学习中人脸识别与属性预测任务的类别不平衡问题。
• 探究经典重采样与代价敏感学习策略是否足以应对深度类别不平衡学习问题。
• 开发一种通过聚类间 margin 实现判别性聚类的方法，以改善局部决策边界的平衡性。
• 在真实世界类别不平衡的人脸数据集与模拟基准上验证 CLMLE 的有效性。
• 证明结合 CLMLE 的简单 k-近邻分类方法优于复杂的基线模型。

提出的方法

• CLMLE 通过在超球面流形上强制实施聚类之间的角度 margin 来学习深度表征，提升类间与类内分离度。
• 该方法采用基于聚类的采样策略，在训练过程中优先选择损失观测值较高的聚类。
• 代价敏感机制在得分层面重新平衡各类贡献，尤其在多标签属性设置中表现优异。
• 使用基于 margin 的损失函数优化特征嵌入，约束聚类中心之间的角度距离。
• 最终分类器采用 k-最近聚类（k-NC）而非基于样本的 k-NN，提升了速度与性能。
• 该方法通过标准反向传播端到端训练，将 margin 学习与标准交叉熵损失相结合。

实验结果

研究问题

• RQ1 经典重采样与代价敏感学习策略是否能有效缓解人脸识别中的深度类别不平衡学习问题？
• RQ2 在超球面上强制实施聚类间 margin 是否能改善类别不平衡数据中的局部决策边界？
• RQ3 CLMLE 在真实世界类别不平衡的人脸识别与属性预测基准上与最先进方法相比表现如何？
• RQ4 聚类级别采样与代价敏感加权在 CLMLE 性能中分别起到何种贡献？
• RQ5 CLMLE 是否能泛化至人脸识别之外的通用类别不平衡图像分类任务？

主要发现

• 在 LFW 人脸识别验证基准上，CLMLE 达到 99.62% 的准确率，超越以往 SOTA 方法。
• 在 CelebA 属性预测数据集上，CLMLE 实现 88.78% 的平均平衡准确率，优于先前方法。
• 消融实验表明，非均匀聚类采样与代价敏感学习显著提升性能，尤其在多标签设置中。
• 在 CIFAR-100 高度不平衡数据集（γ=0.5）上，CLMLE 实现 39.7% 的平均类别平衡准确率，优于 CE+CRL（37.4%）与 LMLE（38.1%）。
• 将 k-NC 替换为基于样本的 k-NN 会使属性预测准确率降至 88.59%，证实了聚类级别分类的优势。
• 即使在开放集协议下，CLMLE 仍保持强性能，表明其因判别性特征学习而对未见类别具有鲁棒性。