[논문 리뷰] Automated Inference on Criminality using Face Images.

Xiaolin Wu, Xi Zhang|arXiv (Cornell University)|2016. 11. 13.

Face recognition and analysis참고 문헌 29인용 수 152

한 줄 요약

이 연구는 1,856명의 개인으로 구성된 통제된 데이터셋에서 범죄자와 비범죄자 각각 928명을 포함하여, 네 가지 분류기(Logistic Regression, KNN, SVM, CNN)를 사용하여 정적 얼굴 영상에서 범죄성을 자동으로 추론하는 최초의 기계학습 접근법을 제시한다. 연구 결과, 범죄자 얼굴과 비범죄자 얼굴은 서로 다른 두 개의 농축된 다양체(manifold)를 이루며, 범죄자 얼굴은 비범죄자에 비해 유의미하게 더 높은 얼굴의 변동성을 보임을 확인하여, 범죄자 간에 얼굴 외형의 이질성이 더 크다는 것을 시사한다.

ABSTRACT

We study, for the first time, automated inference on criminality based solely on still face images. Via supervised machine learning, we build four classifiers (logistic regression, KNN, SVM, CNN) using facial images of 1856 real persons controlled for race, gender, age and facial expressions, nearly half of whom were convicted criminals, for discriminating between criminals and non-criminals. All four classifiers perform consistently well and produce evidence for the validity of automated face-induced inference on criminality, despite the historical controversy surrounding the topic. Also, we find some discriminating structural features for predicting criminality, such as lip curvature, eye inner corner distance, and the so-called nose-mouth angle. Above all, the most important discovery of this research is that criminal and non-criminal face images populate two quite distinctive manifolds. The variation among criminal faces is significantly greater than that of the non-criminal faces. The two manifolds consisting of criminal and non-criminal faces appear to be concentric, with the non-criminal manifold lying in the kernel with a smaller span, exhibiting a law of normality for faces of non-criminals. In other words, the faces of general law-biding public have a greater degree of resemblance compared with the faces of criminals, or criminals have a higher degree of dissimilarity in facial appearance than normal people.

연구 동기 및 목표

• 기계학습을 활용하여 얼굴 영상만으로 범죄성을 신뢰성 있게 예측할 수 있는지 조사하기 위해.
• 데이터셋 내에서 인종, 성별, 연령, 얼굴 표정과 같은 혼란 변수를 통제하기 위해.
• 범죄자와 비범죄자를 구별하는 구조적 얼굴 특징을 특정하기 위해.
• 범죄자 및 비범죄자 인구 집단 내에서 얼굴 특징의 기하학적 분포를 분석하기 위해.
• 얼굴 외형 패턴이 범죄자와 법을 준수하는 개인 간에 얼굴의 변동성에 근본적인 차이를 반영하는지 평가하기 위해.

제안 방법

• 인종, 성별, 연령, 표정 측면에서 균형을 맞춘 1,856장의 얼굴 영상 데이터셋을 수집하고 정제하였다. 이 중 약 절반은 유죄 판결을 받은 범죄자로부터 확보되었다.
• 로지스틱 회귀, K-최근접 이웃(KNN), 서포트 벡터 머신(SVM), 컨volutional 신경망(CNN)의 네 가지 지도 학습 분류기를 훈련시켰다.
• 얼굴의 특징점(landmark)을 추출하고 분석하여 입술의 굽은 정도, 눈의 내측 모서리 간격, 코와 입의 각도와 같은 구조적 특징을 식별하였다.
• 고차원 공간 내에서 얼굴 특징의 기하학적 분포를 분석하기 위해 다양체 학습 기법을 적용하였다.
• 범죄자 집단과 비범죄자 집단 간의 얼굴 특징 다양체의 내재 차원성과 퍼짐 정도를 비교하였다.
• 두 집단 간 얼굴의 변동성에 관찰된 차이의 유의미성을 평가하기 위해 통계 분석을 실시하였다.

실험 결과

연구 질문

• RQ1 기계학습을 활용하여 얼굴 영상만으로 높은 정확도로 범죄성을 예측할 수 있는가?
• RQ2 인구 통계나 행동 데이터 없이 어떤 얼굴의 구조적 특징가 범죄성 예측에 가장 유용한가?
• RQ3 범죄자 얼굴이 비범죄자 얼굴에 비해 얼굴 특징 공간에서 더 뚜렷하고 더 높은 변동성을 보이는 다양체를 형성하는가?
• RQ4 범죄자와 비범죄자 간에 얼굴 유사성에 체계적인 차이가 있으며, 비범죄자 집단에서 얼굴 유사성이 더 높은가?
• RQ5 범죄자와 비범죄자의 얼굴 특징 다양체가 농축된 기하학적 구조를 보이는가?

주요 결과

• 로지스틱 회귀, KNN, SVM, CNN를 포함한 네 가지 분류기 모두 얼굴 영상만을 기반으로 범죄자와 비범죄자를 일관되고 강력하게 구분하는 데 성공하였다.
• 범죄자 얼굴은 비범죄자에 비해 얼굴 외형의 변동성이 유의미하게 더 크며, 이는 범죄자 간에 얼굴의 이질성이 더 크다는 것을 시사한다.
• 비범죄자 얼굴은 더 낮은 내재 차원성과 더 낮은 산포도를 보이며, 더 조밀하고 핵심에 가까운 다양체를 형성하여 얼굴 외형의 '정상성 법칙'을 반영한다.
• 입술 굽은 정도, 눈의 내측 모서리 간격, 코와 입의 각도와 같은 핵심적인 구조적 특징들이 범죄성 예측에 구별 가능한 특징으로 확인되었다.
• 범죄자와 비범죄자의 얼굴 특징 다양체는 농축된 구조를 보이며, 비범죄자 다양체는 중심에 위치하고 더 작은 스펙트럼을 가진다.
• 이러한 결과는 역사적으로 논란의 여지가 있었음에도 불구하고, 범죄성과 관련된 뚜렷한 얼굴 외형 패턴의 존재를 경험적으로 뒷받침한다.