[论文解读] A Replication Study: Machine Learning Models Are Capable of Predicting Sexual Orientation From Facial Images

John Leuner|arXiv (Cornell University)|Feb 27, 2019

Evolutionary Psychology and Human Behavior参考文献 25被引用 17

一句话总结

本复制研究证实，机器学习模型可利用深度神经网络（男性准确率68%，女性准确率77%）以及面部形态（男性准确率62%，女性准确率72%）从面部图像中高精度预测性取向。研究进一步表明，即使在仅包含低层次色彩与亮度特征的严重模糊图像中，模型仍能实现预测（男性准确率63%，女性准确率72%），表明发型、照明和图像处理伪影等因素，而非面部结构本身，对模型性能有显著贡献。

ABSTRACT

Recent research used machine learning methods to predict a person's sexual orientation from their photograph (Wang and Kosinski, 2017). To verify this result, two of these models are replicated, one based on a deep neural network (DNN) and one on facial morphology (FM). Using a new dataset of 20,910 photographs from dating websites, the ability to predict sexual orientation is confirmed (DNN accuracy male 68%, female 77%, FM male 62%, female 72%). To investigate whether facial features such as brightness or predominant colours are predictive of sexual orientation, a new model based on highly blurred facial images was created. This model was also able to predict sexual orientation (male 63%, female 72%). The tested models are invariant to intentional changes to a subject's makeup, eyewear, facial hair and head pose (angle that the photograph is taken at). It is shown that the head pose is not correlated with sexual orientation. While demonstrating that dating profile images carry rich information about sexual orientation these results leave open the question of how much is determined by facial morphology and how much by differences in grooming, presentation and lifestyle. The advent of new technology that is able to detect sexual orientation in this way may have serious implications for the privacy and safety of gay men and women.

研究动机与目标

• 复制并验证Wang和Kosinski（2017）的研究发现，即机器学习可从面部图像预测性取向。
• 探究面部形态、发型习惯或图像处理伪影中，哪一因素是预测准确率的主要驱动因素。
• 评估模型在人为改变（如化妆、胡须、眼镜、头部姿态）下的鲁棒性。
• 确定模糊图像中的低层次视觉特征（如亮度、色相、饱和度）是否携带关于性取向的预测信息。
• 评估此类模型对隐私与安全的影响，特别是对LGBTQ+群体的影响。

提出的方法

• 从美国白人在线交友资料中收集了20,910张面部图像的新数据集。
• 在裁剪后的面部图像上训练深度神经网络（DNN）模型，以提取高阶特征用于性取向预测。
• 利用面部轮廓、眼睛与鼻子位置、脸型等几何特征，开发面部形态（FM）分类器。
• 创建第三个模型，训练对象为高度模糊的图像（1×1和5×5像素分辨率），以隔离低层次的色彩与亮度信息。
• 通过受控实验，改变化妆、胡须、眼镜和头部姿态，测试模型对这些变化的不变性。
• 使用受试者工作特征曲线下面积（AUC）作为评估所有研究中模型性能的主要指标。

实验结果

研究问题

• RQ1 机器学习模型能否复制Wang和Kosinski报告的从面部图像预测性取向的高准确率？
• RQ2 模糊图像中的低层次图像特征（如亮度、色相、饱和度）在多大程度上贡献于预测准确率？
• RQ3 模型对化妆、胡须、眼镜和头部姿态等人为外观改变是否具有鲁棒性？
• RQ4 头部姿态与性取向之间是否存在相关性，或预测是否对姿态变化保持不变？
• RQ5 发型习惯、生活方式或图像处理伪影的差异在多大程度上导致模型性能差异，而非生物学意义上的面部形态？

主要发现

• DNN模型在男性中的AUC为0.68，在女性中为0.77，复制并证实了Wang和Kosinski的研究结果。
• 面部形态模型在男性中的AUC为0.62，在女性中为0.72，表明仅靠几何面部特征即可实现预测。
• 在5×5像素模糊图像上训练的模型，男性AUC为0.63，女性AUC为0.72，证明低层次色彩与亮度特征具有预测能力。
• 模型对化妆、胡须、眼镜和头部姿态等人为改变保持鲁棒，表明对这些变化具有不变性。
• 未发现头部姿态与性取向之间存在显著相关性，表明姿态不影响模型预测。
• 合成图像与色彩分布分析显示，异性恋女性与男同性恋者面部通常更明亮，唇部颜色更鲜艳，表明发型与照明差异是关键预测因素。