[논문 리뷰] Can deep learning help you find the perfect match?

Harm de Vries, Jason Yosinski|arXiv (Cornell University)|2015. 05. 02.

Evolutionary Psychology and Human Behavior참고 문헌 17인용 수 3

한 줄 요약

이 논문은 사전 훈련된 모델에서의 전이 학습을 활용하여 프로필 사진을 이용해 개인의 연애 선호도를 예측할 수 있는지 조사한다. ImageNet에서 훈련된 VGGNet의 특징은 9,364장의 Tinder 사진으로 구성된 데이터셋에서 좋아요/싫어요를 예측하는 데 68.1%의 정확도를 기록하며, 성별 예측 네트워크의 특징보다 뛰어난 성능을 보이며, 데이터셋의 제약에도 불구하고 개인 맞춤형 매력도 예측에 깊이 학습된 특징을 사용할 수 있음을 입증한다.

ABSTRACT

Is he/she my type or not? The answer to this question depends on the personal preferences of the one asking it. The individual process of obtaining a full answer may generally be difficult and time consuming, but often an approximate answer can be obtained simply by looking at a photo of the potential match. Such approximate answers based on visual cues can be produced in a fraction of a second, a phenomenon that has led to a series of recently successful dating apps in which users rate others positively or negatively using primarily a single photo. In this paper we explore using convolutional networks to create a model of an individual's personal preferences based on rated photos. This introduced task is difficult due to the large number of variations in profile pictures and the noise in attractiveness labels. Toward this task we collect a dataset comprised of $9364$ pictures and binary labels for each. We compare performance of convolutional models trained in three ways: first directly on the collected dataset, second with features transferred from a network trained to predict gender, and third with features transferred from a network trained on ImageNet. Our findings show that ImageNet features transfer best, producing a model that attains $68.1\%$ accuracy on the test set and is moderately successful at predicting matches.

연구 동기 및 목표

• 딥 러닝 모델이 프로필 사진만을 기반으로 개인의 연애 선호도를 예측할 수 있는지 탐색하는 것.
• 개인 맞춤형 매력도 모델을 훈련하기 위한 제한된 데이터 문제를 해결하기 위해 전이 학습을 활용하는 것.
• ImageNet에서의 전이 학습과 유사한 프로필 사진에서 훈련된 성별 예측 모델에서의 전이 학습 간 효과성을 비교하는 것.
• 깊이 학습된 특징이 개인 간 일반화 가능한 방식으로 매력도와 같은 미묘하고 주관적인 선호도를 포착할 수 있는지 평가하는 것.

제안 방법

• 저자는 한 명의 개인의 선호도에 기반해 Tinder에서 9,364장의 프로필 사진을 수집하고, 이중 '좋아요' 또는 '싫어요'라는 이진 레이블을 부여했다.
• ImageNet에서 훈련된 사전 훈련된 VGGNet을 사용하여 FC7 레이어에서 4096차원 특징을 추출하고, 그 위에 로지스틱 회귀 분류기를 훈련시켰다.
• 동일한 데이터셋에서 성별 예측 CNN을 훈련하고, 최종 레이어에서 특징을 추출하여 전이 학습에 활용했다.
• 전이 학습은 초기 레이어를 고정하고, 성별 및 VGG 네트워크의 마지막 완전 연결 레이어만 미세 조정함으로써 수행되었다.
• 과적합을 방지하기 위해 검증 세트 성능을 기반으로 초모수를 튜닝하였으며, L2 정규화와 조기 정지 기법을 사용했다.
• 모델은 개별 선호도 예측 정확도를 측정하기 위해 보류된 테스트 세트에서 평가되었다.

실험 결과

연구 질문

• RQ1 제한된 레이블이 있는 데이터를 사용하여 딥 컨volution 네트워크가 프로필 사진에서 개인 맞춤형 매력도 선호도를 효과적으로 학습할 수 있는가?
• RQ2 이미지넷에서 사전 훈련된 모델에서의 전이 학습이, 성별 예측과 같은 유사하지만 다른 작업에서 훈련된 모델에서의 전이 학습보다 매력도 예측에서 더 높은 성능을 내는가?
• RQ3 개인 선호도 모델링의 맥락에서, 의미적으로 거리가 먼 데이터셋(ImageNet)에서의 특징 전이 성능와 의미적으로 가까운 데이터셋(성별 예측)에서의 성능를 비교할 때 어떤가?
• RQ4 딥 특징이 단일 이미지에서 주관적이고 인간과 유사한 매력도 판단을 어느 정도 포착할 수 있는가?

주요 결과

• 사전 훈련된 VGGNet의 특징을 사용한 모델이 가장 높은 테스트 정확도 68.1%를 기록했으며, 성별 예측 전이 접근 방식을 크게 앞서 갔다.
• 성별 예측 네트워크에서의 전이 학습은 마지막 두 레이어를 미세 조정했을 때 뿐만 아니라 61.3%의 정확도를 기록하여 이 특정 작업에 대해 전이 가능성은 낮았다.
• ImageNet 특징는 강력한 일반화 능력을 보이며, 검증 세트에서 66.9%의 정확도를 기록했고, 무작위 추측(50%)과 인간 수준의 정확도(88%) 사이의 성능 격차의 약 절반을 메웠다.
• 성별 네트워크의 마지막 레이어만 미세 조정했을 경우 성능이 열악했으며, 높은 훈련 오차와 심한 과소적합 현상이 나타났다.
• 데이터셋은 상대적으로 균형 잡혀 있었으며(좋아요 53%, 싫어요 47%), 이는 Tinder 알고리즘이 인기 있는 프로필을 선호함으로써 잠재적인 표본 편향이 있을 수 있음을 시사한다.
• 이 연구는 제한된 데이터 조건에서도 사전 훈련된 ImageNet 특징가 주관적인 선호도 모델링에 강력한 인덕티브 바이어스를 제공함을 강조한다.