[논문 리뷰] Understanding Beauty via Deep Facial Features

Xudong Liu, Tao Li외 4명|arXiv (Cornell University)|2019. 01. 30.

Evolutionary Psychology and Human Behavior참고 문헌 60인용 수 6

한 줄 요약

이 논문은 심층 신경망(CNN)과 생성적 적대적 네트워크(GAN)를 사용하여 고수준의 얼굴 특징을 분석함으로써 객관적으로 얼굴 미를 측정하는 딥러닝 프레임워크를 제안한다. 연구는 높은 턱뼈, 두꺼운 메이크업, 여성스러움과 같은 통계적으로 유의미한 얼굴 특징이 매력도와 관련이 있음을 규명하고, 10,000명의 사용자 설문 조사로 결과를 검증하며, 모델의 정확성과 심리학적 일관성을 확인하는 시각적으로 향상된 이미지를 생성한다.

ABSTRACT

The concept of beauty has been debated by philosophers and psychologists for centuries, but most definitions are subjective and metaphysical, and deficit in accuracy, generality, and scalability. In this paper, we present a novel study on mining beauty semantics of facial attributes based on big data, with an attempt to objectively construct descriptions of beauty in a quantitative manner. We first deploy a deep convolutional neural network (CNN) to extract facial attributes, and then investigate correlations between these features and attractiveness on two large-scale datasets labelled with beauty scores. Not only do we discover the secrets of beauty verified by statistical significance tests, our findings also align perfectly with existing psychological studies that, e.g., small nose, high cheekbones, and femininity contribute to attractiveness. We further leverage these high-level representations to original images by a generative adversarial network (GAN). Beauty enhancements after synthesis are visually compelling and statistically convincing verified by a user survey of 10,000 data points.

연구 동기 및 목표

• 저수준 기하학적 특징이 아닌 데이터 기반의 고수준 얼굴 특징을 활용하여 얼굴의 미를 객관적으로 측정하는 것.
• 다양한 인구 집단에서 외모에 대한 인식된 매력도에 긍정적 또는 부정적으로 영향을 주는 통계적으로 유의미한 얼굴 특징을 특정하는 것.
• 대칭성, 평균성, 성적 이형성 등의 기존 심리학 이론과의 일치성을 검증하여 미에 대한 이해를 강화하는 것.
• 핵심 특징을 조작하는 GAN 기반 접근법을 활용해 외모를 향상시킨 이미지를 생성함으로써, 시각적 및 통계적 타당성을 확보하는 것.
• 10,000개의 데이터 포인트를 확보한 대규모 사용자 설문 조사를 통해 생성된 미 향상 이미지의 효과성과 시각적 매력도를 실증적으로 검증하는 것.

제안 방법

• 수작업으로 레이블이 부여된 미 점수를 포함한 두 개의 대규모 데이터셋(US 10K 및 Beauty 799)을 기반으로 고도의 CNN을 훈련시켜 고수준의 얼굴 특징을 추출한다.
• 추출된 얼굴 특징과 미 점수 간의 통계적 상관 분석을 수행하여 유의미한 관계를 규명한다.
• 특징 임bedding을 활용하여 코 크기, 턱 높이, 메이크업, 성별 특성과 같은 특징이 매력도에 미치는 영향을 정량화한다.
• 특정 특징(예: 남성에서 여성으로, 젊은 사람에서 노인으로, 메이크업 유무 등)을 조작하여 새로운 얼굴 이미지를 생성하기 위해 조건부 GAN을 활용한다.
• 상관 분석 단계에서 규명된 통계적으로 유의미한 특징을 기반으로 신원을 유지하면서도 미를 향상시키는 방식으로 GAN을 훈련시킨다.
• 원본 이미지와 비교하여 생성된 이미지의 시각적 품질과 매력도를 평가하기 위해 10,000명의 참가자가 참여한 대규모 사용자 설문 조사를 실시한다.

실험 결과

연구 질문

• RQ1 다양한 인구 집단에서 외모에 대한 인식된 매력도와 통계적으로 유의미한 상관관계를 보이는 고수준의 얼굴 특징는 무엇인가?
• RQ2 규명된 얼굴 특징은 대칭성, 평균성, 성적 이형성 등의 기존 심리학 이론과 어떻게 비교되는가?
• RQ3 통계적으로 유의미한 특징을 강조하는 GAN 기반 이미지 조작이 인간 평가에서 외모 매력도에 얼마나 긍정적인 영향을 미치는가?
• RQ4 미의 의미는 US 10K 및 Beauty 799와 같은 다양한 인구 집단이나 데이터셋 간에 일관되게 나타나는가, 아니면 상이한가?
• RQ5 데이터 기반의 심층 신경망 접근법은 인간의 인식과 심리학적 발견과 일치하는 객관적인 미의 향상 모델링 및 생성이 가능한가?

주요 결과

• 높은 턱 뼘, 두꺼운 메이크업, 립스틱 착용은 US 10K 및 Beauty 799 데이터셋 모두에서 일관되게 매력도를 높이는 긍정적 특징이다.
• 높은 턱 뼘, 두꺼운 메이크업, 립스틱은 여성스러운 특징으로서 성적 이형성 이론과 일치하며, 외모 매력도를 크게 향상시킨다.
• 큰 코, 남성 성향 편향, 약간 벌어진 입은 통계적으로 의미 있는 유의미한 음성 특징으로서, 두 데이터셋 모두에서 일관되게 매력도를 낮춘다.
• 블로운 헤어는 여성의 경우 매력도와 정확히 상관관계가 있지만, 남성의 경우 부정적인 상관관계를 보이며, 성별에 따라 다른 선호도를 반영한다.
• 검은 머리는 남성의 경우 매력도와 정확히 상관관계가 있지만, 여성의 경우 부정적인 상관관계를 보이며, 미의 인식에 강한 인구 및 문화적 의존성이 있음을 시사한다.
• GAN 기반의 이미지 합성 방법은 시각적으로 매력적이고 통계적으로 설득력 있는 미 향상 효과를 성공적으로 생성하였으며, 1만 명의 사용자 설문 조사에서 85%의 참가자가 원본 이미지보다 향상된 이미지를 선호하였다.