[论文解读] A Facial Feature Discovery Framework for Race Classification Using Deep Learning

Khalil Khan, Jehad Ali+3 more|arXiv (Cornell University)|Mar 29, 2021

Face recognition and analysis参考文献 48被引用 4

一句话总结

本文提出了一种用于种族分类的深度学习框架，首先使用DCNN将面部图像分割为七个语义类别（鼻子、皮肤、头发、眼睛、眉毛、嘴巴、背景），然后从五个关键类别（排除背景）中利用概率图提取显著特征。该方法通过聚焦于具有区分性的面部特征，在四个标准数据集上实现了优于先前方法的种族分类准确率，其优势源于有针对性的特征发现与概率分类方法。

ABSTRACT

Race classification is a long-standing challenge in the field of face image analysis. The investigation of salient facial features is an important task to avoid processing all face parts. Face segmentation strongly benefits several face analysis tasks, including ethnicity and race classification. We propose a raceclassification algorithm using a prior face segmentation framework. A deep convolutional neural network (DCNN) was used to construct a face segmentation model. For training the DCNN, we label face images according to seven different classes, that is, nose, skin, hair, eyes, brows, back, and mouth. The DCNN model developed in the first phase was used to create segmentation results. The probabilistic classification method is used, and probability maps (PMs) are created for each semantic class. We investigated five salient facial features from among seven that help in race classification. Features are extracted from the PMs of five classes, and a new model is trained based on the DCNN. We assessed the performance of the proposed race classification method on four standard face datasets, reporting superior results compared with previous studies.

研究动机与目标

• 为解决面部图像分析中种族分类的挑战，识别对种族差异最具贡献的显著面部特征。
• 通过聚焦于关键面部区域而非处理所有面部部分，减少计算开销。
• 通过两阶段深度学习流程（面部分割后接基于特征的分类）提升分类准确率。
• 在多个标准数据集上验证该框架，以确保其鲁棒性与泛化能力。
• 证明从概率图中选择性提取特征可提升种族分类性能。

提出的方法

• 训练一个深度卷积神经网络（DCNN），以实现将面部图像语义分割为七个类别：鼻子、皮肤、头发、眼睛、眉毛、嘴巴和背景。
• 训练好的DCNN为每个语义类别生成概率图（PMs），表示每个像素属于该类别的可能性。
• 基于其对种族分类的区分潜力，从PMs中选择五个显著面部特征：鼻子、皮肤、头发、眼睛和眉毛。
• 从这五个类别的PMs中提取特征，并用于训练一个新的基于DCNN的分类模型。
• 采用概率分类方法以优化特征表示并改善决策边界。
• 在四个标准面部数据集上评估该框架，以评估性能与泛化能力。

实验结果

研究问题

• RQ1 在七个语义类别中，哪些面部特征对种族分类最具区分性？
• RQ2 两阶段深度学习流程（分割后接基于特征的分类）是否能提升种族分类准确率？
• RQ3 聚焦于显著面部特征而非全脸处理，对模型性能与效率有何影响？
• RQ4 使用概率图在多大程度上增强了种族分类的特征表示？
• RQ5 该框架在标准基准数据集上与现有方法相比表现如何？

主要发现

• 所提出的框架在四个标准面部数据集上的种族分类性能优于先前方法。
• 从语义分割生成的概率图显著改善了种族分类的特征表示。
• 聚焦于五个显著面部特征（鼻子、皮肤、头发、眼睛、眉毛）而非所有面部部分，提升了模型准确率与效率。
• 两阶段方法（基于DCNN的分割后接基于特征的分类）在多样化数据集上表现出强大的泛化能力。
• 该框架优于现有种族分类方法，表明有针对性的面部特征发现具有显著有效性。
• 本研究验证了语义面部分割在提升种族分类任务性能方面的重要性。