[논문 리뷰] A Replication Study: Machine Learning Models Are Capable of Predicting Sexual Orientation From Facial Images

John Leuner|arXiv (Cornell University)|2019. 02. 27.

Evolutionary Psychology and Human Behavior참고 문헌 25인용 수 17

한 줄 요약

이 복제 연구는 심층 신경망을 사용하여 얼굴 영상에서 성적 지향성을 높은 정확도로 예측할 수 있음을 확인한다 (남성 68%, 여성 77%) 및 얼굴 형태학적 특징(남성 62%, 여성 72%)을 사용할 경우에도 동일한 결과를 도출한다. 또한 매우 흐릿한 이미지—저수준의 색상 및 밝기 특징만 포함하는 이미지—에서도 성적 지향성을 예측할 수 있음을 입증한다 (남성 63%, 여성 72%), 이는 얼굴의 구조 외에도 헤어스타일, 조명, 이미지 처리 잔상 등이 모델 성능에 크게 기여한다는 것을 시사한다.

ABSTRACT

Recent research used machine learning methods to predict a person's sexual orientation from their photograph (Wang and Kosinski, 2017). To verify this result, two of these models are replicated, one based on a deep neural network (DNN) and one on facial morphology (FM). Using a new dataset of 20,910 photographs from dating websites, the ability to predict sexual orientation is confirmed (DNN accuracy male 68%, female 77%, FM male 62%, female 72%). To investigate whether facial features such as brightness or predominant colours are predictive of sexual orientation, a new model based on highly blurred facial images was created. This model was also able to predict sexual orientation (male 63%, female 72%). The tested models are invariant to intentional changes to a subject's makeup, eyewear, facial hair and head pose (angle that the photograph is taken at). It is shown that the head pose is not correlated with sexual orientation. While demonstrating that dating profile images carry rich information about sexual orientation these results leave open the question of how much is determined by facial morphology and how much by differences in grooming, presentation and lifestyle. The advent of new technology that is able to detect sexual orientation in this way may have serious implications for the privacy and safety of gay men and women.

연구 동기 및 목표

• 왕과 코신스키(2017)의 연구를 복제하고 검증하여 머신러닝 모델이 얼굴 영상에서 성적 지향성을 예측할 수 있음을 입증하는 것.
• 얼굴 형태학, 헤어스타일, 또는 이미지 처리 잔상 중 어느 것이 예측 정확도의 주요 원인인지 조사하는 것.
• 메이크업, 콧수염, 안경, 머리 자세와 같은 의도적인 외형 변화에 대한 모델의 내성(로버스트함)을 평가하는 것.
• 흐린 이미지에서 저수준의 시각적 특징(예: 밝기, 색-tone, 채도)이 성적 지향성 예측에 기여하는 정도를 평가하는 것.
• 이러한 모델이 레즈비언, 게이, 비이성애자 등 LBGTQ+ 개인의 개인정보 및 안전에 미치는 영향을 평가하는 것.

제안 방법

• 미국의 백인을 대상으로 온라인 연애 프로필에서 20,910장의 얼굴 영상을 신규로 수집하였다.
• 자르기 처리된 얼굴 영상에 대해 심층 신경망(DNN) 모델을 훈련시켜 성적 지향성 예측을 위한 고수준 특징을 추출하였다.
• 얼굴 윤곽, 눈과 코의 위치, 얼굴 형태 등의 기하학적 특징을 사용해 얼굴 형태학(FM) 분류기를 개발하였다.
• 매우 흐린 이미지(1×1 및 5×5 픽셀 해상도)에 대해 훈련된 세 번째 모델을 구축하여 저수준의 색상 및 밝기 정보를 분리하였다.
• 메이크업, 콧수염, 안경, 머리 자세를 조작한 제어 실험을 실시하여 모델의 불변성(인variant)을 테스트하였다.
• 모든 연구에서 모델 성능 평가의 주요 지표로 receiver operating characteristic 곡선 아래 면적(AUC)을 사용하였다.

실험 결과

연구 질문

• RQ1 머신러닝 모델이 왕과 코신스키가 보고한 바와 같이 얼굴 영상에서 성적 지향성을 높은 정확도로 복제할 수 있는가?
• RQ2 흐린 이미지에서의 저수준 이미지 특징(예: 밝기, 색-tone, 채도)이 예측 정확도에 어느 정도 기여하는가?
• RQ3 메이크업, 콧수염, 안경, 머리 자세와 같은 의도적인 외형 변화에 대해 모델은 얼마나 내성적인가?
• RQ4 머리 자세와 성적 지향성 간에 상관관계가 있는가, 아니면 예측이 자세 변화에 대해 불변한가?
• RQ5 헤어스타일, 생활 방식, 또는 이미지 처리 잔상의 차이가 얼굴 형태학적 생물학적 특징보다 모델 성능에 더 큰 기여를 하는가?

주요 결과

• DNN 모델은 남성의 경우 AUC 0.68, 여성의 경우 AUC 0.77를 기록하여 왕과 코신스키의 결과를 재현하고 확인하였다.
• 얼굴 형태학 모델은 남성의 경우 AUC 0.62, 여성의 경우 AUC 0.72를 기록하여 기하학적 얼굴 특징만으로도 예측 가능하다는 것을 시사한다.
• 5×5 픽셀 해상도의 매우 흐린 이미지에 대해 훈련된 모델은 남성의 경우 AUC 0.63, 여성의 경우 AUC 0.72를 기록하여 저수준의 색상 및 밝기 특징이 예측에 기여한다는 것을 입증한다.
• 메이크업, 콧수염, 안경, 머리 자세와 같은 의도적인 변화에 대해 모델은 여전히 내성적이었으며, 이러한 변화에 대해 불변함을 보였다.
• 머리 자세와 성적 지향성 간에 유의미한 상관관계는 발견되지 않았으며, 이는 자세 변화가 모델 예측에 영향을 주지 않는다는 것을 시사한다.
• 복합 이미지 및 색상 분포 분석 결과, 이성애 여성과 동성애 남성은 더 밝은 얼굴과 더 선명한 입술 색상을 지닌 경향이 있어, 헤어스타일 및 조명의 차이가 주요 예측 요소임을 시사한다.