[論文レビュー] Automated Inference on Criminality using Face Images.

Xiaolin Wu, Xi Zhang|arXiv (Cornell University)|Nov 13, 2016

Face recognition and analysis参考文献 29被引用数 152

ひとこと要約

本研究では、1,856名の被験者から成る制御されたデータセット（うち半数が有罪判決を受けていた犯罪者）を用い、4つの分類器（ロジスティック回帰、KNN、SVM、CNN）を用いて、静止画の顔画像から犯罪性を自動的に推定する最初の機械学習アプローチを提示している。顔画像の分析から、犯罪者と非犯罪者の顔はそれぞれが明確に分離された同心円状の多様体を形成しており、犯罪者の顔は非犯罪者に比べ顔貌のばらつきが顕著に大きいことが判明した。これは、犯罪者同士の顔貌の相違度がより高いことを示唆している。

ABSTRACT

We study, for the first time, automated inference on criminality based solely on still face images. Via supervised machine learning, we build four classifiers (logistic regression, KNN, SVM, CNN) using facial images of 1856 real persons controlled for race, gender, age and facial expressions, nearly half of whom were convicted criminals, for discriminating between criminals and non-criminals. All four classifiers perform consistently well and produce evidence for the validity of automated face-induced inference on criminality, despite the historical controversy surrounding the topic. Also, we find some discriminating structural features for predicting criminality, such as lip curvature, eye inner corner distance, and the so-called nose-mouth angle. Above all, the most important discovery of this research is that criminal and non-criminal face images populate two quite distinctive manifolds. The variation among criminal faces is significantly greater than that of the non-criminal faces. The two manifolds consisting of criminal and non-criminal faces appear to be concentric, with the non-criminal manifold lying in the kernel with a smaller span, exhibiting a law of normality for faces of non-criminals. In other words, the faces of general law-biding public have a greater degree of resemblance compared with the faces of criminals, or criminals have a higher degree of dissimilarity in facial appearance than normal people.

研究の動機と目的

• 顔画像のみを用いて機械学習を用いて犯罪性を信頼性高く予測できるかを調査すること。
• データセットにおける人種、性別、年齢、表情などの交絡要因を制御すること。
• 犯罪者と非犯罪者を区別する構造的顔貌特徴を同定すること。
• 犯罪者および非犯罪者集団における顔貌特徴の幾何的分布を分析すること。
• 顔貌の外見パターンが、犯罪者と法遵守者との間で顔貌のばらつきに根本的な差異を反映しているかどうかを評価すること。

提案手法

• 人種、性別、年齢、表情のバランスをとった1,856枚の顔画像データセットを収集・整備し、そのうち約半数が有罪判決を受けた犯罪者であった。
• ロジスティック回帰、K-近傍法（KNN）、サポートベクターマシン（SVM）、畳み込みニューラルネットワーク（CNN）の4つの教師あり機械学習分類器を訓練した。
• 顔貌特徴点を抽出・分析し、口角のカーブ、目の内側端の距離、鼻と口のなす角度などの構造的特徴を同定した。
• 高次元空間における顔貌特徴の幾何的分布を分析するために多様体学習技術を適用した。
• 犯罪者と非犯罪者の両グループにおける顔貌特徴多様体の内在次元と広がりを比較した。
• 観察された顔貌ばらつきの差の有意性を統計的分析で評価した。

実験結果

リサーチクエスチョン

• RQ1 顔画像のみを用いて機械学習を用いて犯罪性を高い精度で予測できるか？
• RQ2 人種的・行動的要因が欠落した状況下で、どの顔貌構造的特徴が犯罪性の予測に最も有用か？
• RQ3 犯罪者の顔は、非犯罪者の顔に比べて顔貌特徴空間において明確に分離され、よりばらつきの大きい多様体を形成するか？
• RQ4 犯罪者と非犯罪者の間で顔貌の類似性に系統的な差異があり、非犯罪者はより顔貌の類似性が高いとされるか？
• RQ5 犯罪者と非犯罪者の顔貌特徴多様体は同心円的な幾何的構造を示すか？

主な発見

• ロジスティック回帰、KNN、SVM、CNNの4つの分類器すべてが、顔画像のみを用いて犯罪者と非犯罪者を一貫して強く分類できた。
• 犯罪者の顔は非犯罪者の顔に比べ顔貌の外見的ばらつきが顕著に大きく、犯罪者同士の顔貌の相違度がより高いことを示唆している。
• 非犯罪者の顔は、内在次元が低く、より凝縮されたキーワールドのような多様体を形成しており、顔貌外見における「正常性の法則」を反映している。
• 口角のカーブ、目の内側端の距離、鼻と口のなす角度といった重要な構造的特徴が、犯罪性予測において判別的であることが判明した。
• 犯罪者と非犯罪者の顔貌特徴多様体は同心円構造を示しており、非犯罪者の多様体は中心に位置し、範囲が小さいことが確認された。
• 本研究の結果は、歴史的に議論のあった分野においても、犯罪性に関連する顔貌外見パターンの客観的証拠を示している。