[论文解读] A new humanlike facial attractiveness predictor with cascaded fine-tuning deep learning model

Jie Xu, Lianwen Jin+3 more|arXiv (Cornell University)|Nov 8, 2015

Evolutionary Psychology and Human Behavior参考文献 21被引用 37

一句话总结

该论文提出了一种级联微调的深度学习模型，通过处理多通道面部输入（RGB、细节和光照层），利用大输入尺寸和小卷积核的深度卷积神经网络预测面部吸引力。该模型与人类判断的相关性达到0.88，表明面部平滑度、明暗度和色彩在美感感知中的重要性。

ABSTRACT

This paper proposes a deep leaning method to address the challenging facial attractiveness prediction problem. The method constructs a convolutional neural network of facial beauty prediction using a new deep cascaded fine-turning scheme with various face inputting channels, such as the original RGB face image, the detail layer image, and the lighting layer image. With a carefully designed CNN model of deep structure, large input size and small convolutional kernels, we have achieved a high prediction correlation of 0.88. This result convinces us that the problem of facial attractiveness prediction can be solved by deep learning approach, and it also shows the important roles of the facial smoothness, lightness, and color information that were involved in facial beauty perception, which is consistent with the result of recent psychology studies. Furthermore, we analyze the high-level features learnt by CNN through visualization of its hidden layers, and some interesting phenomena were observed. It is found that the contours and appearance of facial features, especially eyes and moth, are the most significant facial attributes for facial attractiveness prediction, which is also consistent with the visual perception intuition of human.

研究动机与目标

• 开发一种基于深度学习的面部吸引力预测模型，以模拟人类感知。
• 研究多通道面部输入（RGB、细节和光照层）对面部吸引力预测的影响。
• 分析卷积神经网络学习的高层特征，以理解哪些面部属性驱动吸引力判断。
• 通过与人工标注的吸引力评分对比，验证模型的性能。
• 探讨所学特征与面部美感感知心理学研究发现之间的一致性。

提出的方法

• 该模型采用具有大输入尺寸和小卷积核的深度卷积神经网络（CNN），以捕捉细微的面部细节。
• 采用级联微调策略，逐步将网络适应于不同面部输入通道：原始RGB、细节层和光照层。
• 输入通道分别处理后融合，以增强吸引力预测的特征表示。
• 使用人工标注的吸引力评分作为真实标签，通过监督学习进行端到端训练。
• 通过隐藏层的激活图可视化高层特征，以解释所学的面部属性。
• 通过预测值与人工标注的吸引力评分之间的个体相关性对模型进行评估。

实验结果

研究问题

• RQ1 多通道面部输入（RGB、细节、光照）如何影响基于深度学习的吸引力预测模型的性能？
• RQ2 根据所学的CNN表征，哪些面部特征最能预测感知到的吸引力？
• RQ3 该模型的性能与人类对面部美感的判断在多大程度上相关？
• RQ4 CNN所学的高层特征是否与已知的面部吸引力心理学原理一致？
• RQ5 级联微调是否能提升模型提取与吸引力相关面部属性的能力？

主要发现

• 所提出的模型在预测值与人工标注的吸引力评分之间实现了0.88的个体相关性，表明与人类感知高度一致。
• 与仅使用RGB输入相比，加入细节层和光照层输入显著提升了预测性能。
• 隐藏层的可视化显示，面部轮廓和特征——尤其是眼睛和嘴巴——是吸引力预测中最显著的属性。
• 模型所学特征与心理学研究中强调的面部平滑度、明暗度和色彩作为美感关键因素的发现一致。
• 级联微调策略通过逐步适应网络以处理不同面部表征，增强了特征学习。
• 结果证实，深度学习能够通过结构化的多通道输入，有效建模类人的面部吸引力判断。