[论文解读] AFIF4: Deep Gender Classification based on AdaBoost-based Fusion of Isolated Facial Features and Foggy Faces

Mahmoud Afifi, Abdelrahman Abdelhamed|arXiv (Cornell University)|Jun 13, 2017

Face recognition and analysis被引用 14

一句话总结

本文提出 AFIF4，一种基于 AdaBoost 的分数融合策略，将孤立的面部特征与整体的“模糊人脸”表征相结合，实现深度性别分类。通过在单个特征上独立训练深度卷积神经网络（CNN），并融合其预测结果，该方法在多个基准测试中实现了最先进或更优的准确率，包括跨数据集泛化能力，并引入了一个新的、具有挑战性的数据集，其中包含遮挡和光照不良的面部图像，以推动性别分类研究的发展。

ABSTRACT

Gender classification aims at recognizing a person's gender. Despite the high accuracy achieved by state-of-the-art methods for this task, there is still room for improvement in generalized and unrestricted datasets. In this paper, we advocate a new strategy inspired by the behavior of humans in gender recognition. Instead of dealing with the face image as a sole feature, we rely on the combination of isolated facial features and a holistic feature which we call the foggy face. Then, we use these features to train deep convolutional neural networks followed by an AdaBoost-based score fusion to infer the final gender class. We evaluate our method on four challenging datasets to demonstrate its efficacy in achieving better or on-par accuracy with state-of-the-art methods. In addition, we present a new face dataset that intensifies the challenges of occluded faces and illumination changes, which we believe to be a much-needed resource for gender classification research.

研究动机与目标

• 在现有方法难以应对的真实世界、非约束条件下提升性别分类准确率。
• 通过引入语义上有意义的孤立面部特征，弥补整体人脸表征的局限性。
• 开发一种有效的多模型深度 CNN 预测融合策略。
• 构建一个强调遮挡与光照变化的新数据集，以实现更真实的评估。
• 通过跨数据集评估，展示优越的泛化性能。

提出的方法

• 该方法提取孤立的面部特征（如眼睛、鼻子、嘴巴）和整体的“模糊人脸”表征，分别输入到独立的深度卷积神经网络（CNN）中。
• 每个 CNN 独立分类其对应输入特征的性别，生成单独的预测分数。
• 基于 AdaBoost 的分数融合机制将所有 CNN 的预测分数合并，生成最终的性别分类决策。
• “模糊人脸”表征通过应用低通滤波器生成，以模拟退化、模糊或低质量的人脸图像，从而增强对图像退化的鲁棒性。
• 该方法通过优先关注可靠、局部的面部线索而非全局图像特征，模拟人类的推理方式。
• 该方法在四个基准数据集和一个新引入的、更具挑战性的数据集（包含合成遮挡与光照变化）上进行评估。

实验结果

研究问题

• RQ1 将孤立面部特征与整体模糊人脸表征相结合，能否提升性别分类准确率？
• RQ2 基于 AdaBoost 的多 CNN 预测融合是否优于单模型或简单平均方法？
• RQ3 所提方法在跨数据集评估中表现如何，特别是在更具挑战性的现实世界数据上？
• RQ4 一个包含遮挡与光照不良人脸的新数据集，是否能更真实地反映现实世界性别分类的困难？
• RQ5 在图像质量较差的情况下，孤立面部特征是否比整体人脸图像提供更可靠的性别线索？

主要发现

• 在 LFW 数据集上，AFIF4 的测试准确率达到 95.98%，优于相同评估设置下的最先进方法 DL-GC（93.60%）和 SDL-GC（94.90%）。
• 在 Groups 数据集上，AFIF4 达到 90.73% 的准确率，超过最先进结果（DL-GC 为 83.30%，SDL-GC 为 84.40%）。
• 在跨数据集评估中，AFIF4 在 FERET 数据集上达到最高准确率（99.49%），并在所有测试的跨数据集组合中持续优于最先进方法。
• 完整 SoF 数据集（包含合成遮挡与滤波）被认定为最具挑战性，当在 LFW 上训练时，其跨数据集准确率最低（65.76%）。
• 所提数据集包含 42,592 张经过人工标注的面部图像，附带手工标签与性别注释，专门设计用于增强遮挡与光照变化的挑战性。
• 该方法表现出强鲁棒性，当在相同数据上训练时，在完整 SoF 数据集上达到 97.21% 的准确率，表明对图像退化具有高度耐受性。