[논문 리뷰] Classifying Online Dating Profiles on Tinder using FaceNet Facial Embeddings

Charles F. Jekel, Raphael T. Haftka|arXiv (Cornell University)|2018. 03. 12.

Face recognition and analysis참고 문헌 12인용 수 5

한 줄 요약

이 논문은 FaceNet 얼굴 임베딩을 사용하여 테인더 디팅 프로필에 대한 사용자 선호도를 예측하는 개인화된 분류 모델을 제안한다. 단일 얼굴 프로필 이미지에서 128차원의 얼굴 특징을 추출하고 로지스틱 회귀 모델을 훈련시켜, 20개 프로필 이후에는 65%의 검증 정확도를 달성하며, 약 80개 프로필 이후에 정점인 73%에 도달함으로써 수익 감소의 지점이 있음을 보여준다.

ABSTRACT

A method to produce personalized classification models to automatically review online dating profiles on Tinder is proposed, based on the user's historical preference. The method takes advantage of a FaceNet facial classification model to extract features which may be related to facial attractiveness. The embeddings from a FaceNet model were used as the features to describe an individual's face. A user reviewed 8,545 online dating profiles. For each reviewed online dating profile, a feature set was constructed from the profile images which contained just one face. Two approaches are presented to go from the set of features for each face, to a set of profile features. A simple logistic regression trained on the embeddings from just 20 profiles could obtain a 65% validation accuracy. A point of diminishing marginal returns was identified to occur around 80 profiles, at which the model accuracy of 73% would only improve marginally after reviewing a significant number of additional profiles.

연구 동기 및 목표

• 이력 좋아요 행동을 바탕으로 사용자 선호도를 예측하는 개인화된 분류 모델을 개발하기 위해.
• FaceNet을 통해 추출한 얼굴 특징이 디팅 프로필 선호도를 효과적으로 표현하고 예측하는 데 유용한가를 조사하기 위해.
• 신뢰할 수 있는 사용자별 분류 모델을 구축하기 위해 필요한 최소 프로필 수를 결정하기 위해.
• 프로필 수준 표현으로의 얼굴 임베딩을 통합하는 데 사용되는 다양한 특징 집계 전략을 비교하기 위해.
• 정확도, 참양성/참음성 비율, 그리고 증가하는 훈련 데이터에 따른 분산 감소를 기준으로 모델 성능을 평가하기 위해.

제안 방법

• 128차원의 얼굴 임베딩을 단일 얼굴이 포함된 프로필 이미지에서 추출하기 위해 딥 메트릭 러닝 모델인 FaceNet을 사용한다.
• 두 가지 특징 집계 방법을 제안한다: 원본 128D 임베딩 벡터(i_p)를 사용하거나 다수의 얼굴에서의 임베딩 평균(i_avg)을 사용하지만, 최종 평가에서는 단일 얼굴 이미지만 사용된다.
• 사용자 좋아요/싫어요 행동을 로그 기록하고, 이미지, 이름, 나이, 비즈니스 소개 등 프로필 메타데이터를 저장하기 위한 커스터마이징 애플리케이션을 구축한다.
• 기본 분류기로 로지스틱 회귀를 사용하며, 20에서 8,545개의 프로필까지 점차 증가하는 부분집합으로 훈련하여 성능 스케일링을 평가한다.
• 훈련 크기(10에서 406개)에 걸쳐 10,000번의 무작위 교차검증을 수행하여 모델 안정성 평가 및 무작위 기준과의 비교를 수행한다.
• 검증 정확도, 참양성 비율(좋아요 정확도), 참음성 비율(싫어요 정확도)을 사용하여 모델을 평가하며, 훈련 세트 크기에 따라 결과를 시각화한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 FaceNet 모델에서 추출한 얼굴 임베딩이 테인더 프로필에 대한 사용자 선호도를 효과적으로 예측할 수 있는가?
• RQ2 랜덤 추측을 크게 뛰어넘는 분류 모델을 훈련하기 위해 얼마나 많은 테인더 프로필이 필요한가?
• RQ3 어느 지점에서 모델 정확도가 정점에 도달하여 사용자 노력의 수익 감소가 나타나는가?
• RQ4 다양한 특징 집계 전략이 모델 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 다양한 무작위 훈련 분할에 따른 모델 성능의 분산은 어떻게 변화하며, 더 많은 훈련 데이터로 증가할수록 어떻게 감소하는가?

주요 결과

• 단 20개의 테인더 프로필로 훈련된 로지스틱 회귀 모델이 검증 정확도 65%를 달성하여 초기 효과를 입증했다.
• 약 80개의 프로필 이후 모델 정확도가 73%에 도달했으며, 이후 개선 폭은 미미하여 수익 감소의 지점이 있음을 시사했다.
• 10개 프로필 이후 모델의 평균 검증 정확도는 랜덤 분류기보다 유의미하게 높았으며, 비랜덤 예측 능력을 확인했다.
• 훈련 데이터를 81개에서 406개로 증가시킬 때 모델 성능의 분산이 크게 감소하여 안정성이 향상됨을 보여주었다.
• 모델는 좋아요 편향(참양성 비율)을 보였으며, 20개 프로필 이후 로지스틱 회귀 모델이 좋아요 정확도 70%와 싫어요 정확도 60%를 기록했다.
• 10,000번의 무작위 훈련 분할 전반에서 결과가 유연하게 유지되었으며, 확률 밀도 함수는 더 큰 훈련 세트로 갈수록 개선되고 분산이 감소하는 경향을 보였다.