[论文解读] Demography-based Facial Retouching Detection using Subclass Supervised Sparse Autoencoder

Aparna Bharati, Mayank Vatsa+3 more|arXiv (Cornell University)|Sep 22, 2017

Face recognition and analysis参考文献 27被引用 3

一句话总结

本文提出了一种新型的子类监督稀疏自编码器（S³A），用于实现与人口统计特征相关的面部美颜检测，引入了多人口统计美颜人脸（MDRF）数据集，涵盖男性/女性及三种族裔（高加索人、中国人、印度人）在两种美颜工具下的图像。该方法在多样化人口统计群体中提升了检测准确率，男性和女性的准确率分别达到95.9%和94.3%，优于先前的最先进模型，尤其在跨族裔场景下表现更优。

ABSTRACT

Digital retouching of face images is becoming more widespread due to the introduction of software packages that automate the task. Several researchers have introduced algorithms to detect whether a face image is original or retouched. However, previous work on this topic has not considered whether or how accuracy of retouching detection varies with the demography of face images. In this paper, we introduce a new Multi-Demographic Retouched Faces (MDRF) dataset, which contains images belonging to two genders, male and female, and three ethnicities, Indian, Chinese, and Caucasian. Further, retouched images are created using two different retouching software packages. The second major contribution of this research is a novel semi-supervised autoencoder incorporating "subclass" information to improve classification. The proposed approach outperforms existing state-of-the-art detection algorithms for the task of generalized retouching detection. Experiments conducted with multiple combinations of ethnicities show that accuracy of retouching detection can vary greatly based on the demographics of the training and testing images.

研究动机与目标

• 探究性别和族裔等人口统计因素如何影响面部美颜检测算法的性能。
• 解决现有方法在美颜检测中未考虑人口统计差异性的问题。
• 开发一种广义检测框架，在不同族裔和性别群体中均保持高准确率。
• 引入一个新的基准数据集MDRF，涵盖多种人口统计特征和美颜工具下的受控美颜图像。
• 通过结合子类级别监督的半监督自编码器，提升模型泛化能力。

提出的方法

• 提出子类监督稀疏自编码器（S³A），将子类信息整合到稀疏自编码器训练中，以增强美颜检测的特征学习能力。
• 使用MDRF数据集，该数据集包含325名受试者，涵盖三种族裔（高加索人、中国人、印度人）和两种性别，图像使用两种不同软件工具（BeautyPlus和PortraitPro）进行美颜处理。
• 采用两阶段学习流程：先在无标签数据上预训练稀疏自编码器，随后通过子类级别监督进行微调，以区分原始图像与美颜图像。
• 将VGG-Face特征作为S³A框架的输入，结合深度表征学习与稀疏编码，以提升判别能力。
• 引入一种新型损失函数，通过利用性别和族裔作为子类标签，在保持判别能力的同时鼓励稀疏性。
• 通过跨族裔和跨性别训练/测试协议评估性能，以衡量在不同人口统计群体中的泛化能力。

实验结果

研究问题

• RQ1 训练和测试数据的人口统计构成如何影响面部美颜检测的准确率？
• RQ2 结合子类信息（如性别和族裔）的半监督自编码器是否能提升在多样化人群中的检测性能？
• RQ3 所提出的S³A模型在不同族裔和性别群体中的准确率和泛化能力方面，相较于现有最先进方法表现如何？
• RQ4 在使用相同美颜工具时，不同族裔群体（高加索人、中国人、印度人）的检测难度有何差异？
• RQ5 美颜工具的选择（如BeautyPlus与PortraitPro）在不同人口统计群体中对检测性能的影响程度如何？

主要发现

• 所提出的S³A模型在男性受试者中达到95.9%的检测准确率，在女性中达到94.3%，显著优于Bharati等人[13]（90.3%和85.9%）以及VGG+SVM（79.3%和73.8%）。
• 在跨族裔评估中，当在高加索人数据上训练时，S³A模型在高加索人测试集上达到94.3%的准确率，在中国人测试集上为91.9%，在印度人测试集上为92.2%，表现出强大的泛化能力。
• 该模型在所有跨族裔场景下的标准差最低（±1.1%至±2.3%），表明其具有高度的鲁棒性和一致性。
• 美颜检测在印度人脸中最为困难（当在印度人数据上训练时，准确率为92.2%），而中国人脸最易检测（当在中国人数据上训练时，准确率为97.5%）。
• S³A框架在所有人口统计组合中均提升了检测性能，尤其在跨族裔场景中提升最大，证实其在广义检测中的有效性。
• 研究发现，来自工具2（PortraitPro）的美颜略难检测，相比工具1（BeautyPlus），在所有人口统计群体中检测准确率下降1.4%至3.0%。