[论文解读] Automated Inference on Sociopsychological Impressions of Attractive Female Faces

Xiaolin Wu, Xi Zhang+1 more|arXiv (Cornell University)|Dec 11, 2016

Evolutionary Psychology and Human Behavior参考文献 16被引用 3

一句话总结

本文提出了一种使用卷积神经网络（CNNs）的监督深度学习方法，旨在从面部图像中自动推断具有吸引力的年轻中国女性的社交心理感知——如感知到的人格特质和仪态。在约4,000张带标签图像上进行训练后，该模型在区分中国男性观察者认为‘认可’与‘不认可’的面部图像时达到了80.5%的准确率，表明CNN能够检测到与社会判断相关的细微、受文化影响的线索，如自然感和化妆使用情况。

ABSTRACT

This article is a sequel to our earlier work [25]. The main objective of our research is to explore the potential of supervised machine learning in face-induced social computing and cognition, riding on the momentum of much heralded successes of face processing, analysis and recognition on the tasks of biometric-based identification. We present a case study of automated statistical inference on sociopsychological perceptions of female faces controlled for race, attractiveness, age and nationality. Our empirical evidences point to the possibility of training machine learning algorithms, using example face images characterized by internet users, to predict perceptions of personality traits and demeanors.

研究动机与目标

• 探究监督机器学习是否能够从面部图像中统计推断社交心理感知（如人格特质和仪态）。
• 检验面部特征是否与主观社会判断相关，特别是在女性吸引力以及自然感与人工感文化认知的语境下。
• 确定深度学习模型是否能够学习并泛化与社会感知相关的细微视觉线索，如化妆强度和色彩饱和度。
• 通过与随机标注对比来验证模型性能，以排除过拟合的可能性，并确认所学模式反映真实的社交心理相关性。
• 探索CNN是否能够检测到与女性面部评价中认可或不认可相关的文化细微视觉线索，如外貌的自然感。

提出的方法

• 收集了约4,000张年轻中国女性的面部图像，严格控制种族、年龄、国籍和吸引力水平，并由中国男性学生根据社交心理感知（认可/不认可）进行标注。
• 在这些带标签图像上训练一个卷积神经网络（CNN）分类器，以从面部外观预测观察者对人格特质和仪态的感知。
• 通过将图像转为灰度图进行消融研究，评估颜色线索（尤其是与化妆相关的饱和度和对比度）的贡献。
• 分析认可组（S₁）与不认可组（S₀）面部图像在色彩对比度和饱和度分布上的差异，以识别与社会感知相关的视觉模式。
• 通过随机重新分配标签进行故障排查实验，以检验是否存在过拟合；结果显示模型无法区分随机标签，证实其泛化能力超越了噪声。
• 使用ROC曲线和性能指标（准确率、假阳率/假阴率）评估并比较模型在彩色和灰度输入下的性能表现。

实验结果

研究问题

• RQ1 监督机器学习模型能否检测并分类来自具有吸引力的年轻女性面部图像的社交心理感知（如感知到的可信度、纯真感或傲慢感）？
• RQ2 色彩饱和度、对比度和化妆强度等视觉线索在多大程度上与观察者对女性面部的认可或不认可判断相关？
• RQ3 深度学习模型在推断社会感知方面的表现是源于真实相关性，还是仅仅对训练数据的过拟合？
• RQ4 在像中国这样的文化语境下，被感知为自然（认可）与人工（不认可）的面部在基于颜色的特征（如饱和度、对比度）上存在何种差异？
• RQ5 在一组社会感知上训练的模型是否能够泛化或对数据扰动（如灰度转换或随机标签）保持鲁棒性？

主要发现

• CNN分类器在区分中国男性观察者标注为‘认可’（S₁）与‘不认可’（S₀）的面部图像时，准确率达到80.5%，表明面部外观与社交心理感知之间存在强烈的统计相关性。
• 当使用灰度图像时，模型性能仅下降6%（准确率：74.59%），表明颜色线索并非决定性因素，但仍对感知推断有显著贡献。
• 不认可组（S₀）面部的色彩对比度（均值：0.0806）和饱和度（均值：0.3350）显著高于认可组（S₁：0.0708 和 0.3195），且方差更大，表明存在对自然感的文化偏好。
• S₀组的饱和度直方图在极端值（0和1）处出现两个明显峰，表明存在使用极深或极鲜艳妆容的倾向，可能引发负面社会感知。
• 故障排查实验显示，当标签被随机分配时，模型准确率降至约50%，证实模型在真实标签上的表现并非源于过拟合，而是反映了真实的数据模式。
• 模型在灰度转换后仍能保持性能，且在随机标签下表现失败，表明其学习到了与社会感知相关的细微、具有文化相关性的视觉线索（如自然感和化妆风格）。