[论文解读] Automated Inference on Criminality using Face Images.

Xiaolin Wu, Xi Zhang|arXiv (Cornell University)|Nov 13, 2016

Face recognition and analysis参考文献 29被引用 152

一句话总结

本研究首次提出一种自动化机器学习方法，通过四类分类器（逻辑回归、K近邻、支持向量机、卷积神经网络）在包含1,856名个体的受控数据集上，从静态人脸图像推断犯罪性。该数据集一半为有罪记录的犯罪者。研究发现，犯罪者与非犯罪者的面部构成两个截然不同且同心的流形，且犯罪者面部的变异度显著高于非犯罪者，表明犯罪者之间面部外观的差异性更高。

ABSTRACT

We study, for the first time, automated inference on criminality based solely on still face images. Via supervised machine learning, we build four classifiers (logistic regression, KNN, SVM, CNN) using facial images of 1856 real persons controlled for race, gender, age and facial expressions, nearly half of whom were convicted criminals, for discriminating between criminals and non-criminals. All four classifiers perform consistently well and produce evidence for the validity of automated face-induced inference on criminality, despite the historical controversy surrounding the topic. Also, we find some discriminating structural features for predicting criminality, such as lip curvature, eye inner corner distance, and the so-called nose-mouth angle. Above all, the most important discovery of this research is that criminal and non-criminal face images populate two quite distinctive manifolds. The variation among criminal faces is significantly greater than that of the non-criminal faces. The two manifolds consisting of criminal and non-criminal faces appear to be concentric, with the non-criminal manifold lying in the kernel with a smaller span, exhibiting a law of normality for faces of non-criminals. In other words, the faces of general law-biding public have a greater degree of resemblance compared with the faces of criminals, or criminals have a higher degree of dissimilarity in facial appearance than normal people.

研究动机与目标

• 探究仅凭面部图像是否能通过机器学习可靠预测犯罪性。
• 在数据集中控制种族、性别、年龄和面部表情等混杂变量。
• 识别区分犯罪者与非犯罪者的结构性面部特征。
• 分析犯罪者与非犯罪者群体面部特征的潜在几何分布。
• 评估面部外观模式是否反映出犯罪者与守法个体之间面部变异的根本性差异。

提出的方法

• 收集并整理了1,856张面部图像的数据集，按种族、性别、年龄和表情实现平衡，其中约一半来自有罪记录的犯罪者。
• 训练了四种监督式机器学习分类器：逻辑回归、K近邻（KNN）、支持向量机（SVM）和卷积神经网络（CNN）。
• 提取并分析面部关键点，以识别如嘴角弯曲度、眼内角距离和鼻口夹角等结构性特征。
• 应用流形学习技术，分析高维空间中面部特征的几何分布。
• 比较犯罪者与非犯罪者群体面部特征流形的内在维度与分布范围。
• 使用统计分析评估两组之间面部变异度差异的显著性。

实验结果

研究问题

• RQ1 仅凭面部图像是否能通过机器学习实现高精度预测犯罪性？
• RQ2 在缺乏人口统计或行为数据的情况下，哪些面部结构性特征对犯罪性最具预测力？
• RQ3 与非犯罪者相比，犯罪者的面部是否在面部特征空间中形成一个更显著且更富变异性的流形？
• RQ4 犯罪者与非犯罪者之间是否存在系统性差异，表现为非犯罪者面部相似度更高？
• RQ5 犯罪者与非犯罪者的面部特征流形是否表现出同心的几何结构？

主要发现

• 所有四类分类器——逻辑回归、KNN、SVM和CNN——在仅基于面部图像的前提下，均表现出一致且出色的性能，能够有效区分犯罪者与非犯罪者。
• 与非犯罪者相比，犯罪者的面部外观表现出显著更高的变异度，表明犯罪者之间面部差异性更大。
• 非犯罪者的面部形成更紧凑、类似核函数的流形，其内在维度更低，反映出面部外观中的‘正常性法则’。
• 关键结构性特征如嘴角弯曲度、眼内角距离和鼻口夹角，被证实对犯罪性预测具有显著区分能力。
• 犯罪者与非犯罪者的面部特征流形被发现呈同心结构，非犯罪者流形位于中心且范围更小。
• 研究结果为犯罪性相关面部外观模式的存在提供了实证证据，尽管该领域长期存在争议。