[논문 리뷰] SCUT-FBP: A Benchmark Dataset for Facial Beauty Perception

Duorui Xie, Lingyu Liang외 3명|arXiv (Cornell University)|2015. 11. 08.

Evolutionary Psychology and Human Behavior참고 문헌 22인용 수 11

한 줄 요약

이 논문은 500명의 아시아 여성 얼굴 초상화로 구성된 기준 데이터셋인 SCUT-FBP를 소개하며, 인간이 검증한 매력도 평가를 통해 얼굴 미감 인식 모델의 신뢰성 있는 평가를 가능하게 한다. 고전적 특징과 딥러닝(CNN)을 사용하여 피어슨 상관계수 0.8187을 달성하여, 이 데이터셋이 얼굴 매력도 예측 연구를 위한 견고한 기준으로서의 역할을 한다.

ABSTRACT

In this paper, a novel face dataset with attractiveness ratings, namely, the SCUT-FBP dataset, is developed for automatic facial beauty perception. This dataset provides a benchmark to evaluate the performance of different methods for facial attractiveness prediction, including the state-of-the-art deep learning method. The SCUT-FBP dataset contains face portraits of 500 Asian female subjects with attractiveness ratings, all of which have been verified in terms of rating distribution, standard deviation, consistency, and self-consistency. Benchmark evaluations for facial attractiveness prediction were performed with different combinations of facial geometrical features and texture features using classical statistical learning methods and the deep learning method. The best Pearson correlation (0.8187) was achieved by the CNN model. Thus, the results of our experiments indicate that the SCUT-FBP dataset provides a reliable benchmark for facial beauty perception.

연구 동기 및 목표

• 표준화된 매력도 평가를 갖춘 신뢰성 있고 대규모의 기준 데이터셋을 개발하기 위해.
• 기하학적 특징과 텍스처 특징의 다양한 조합이 얼굴 매력도 예측에 미치는 영향을 평가하기 위해.
• 제안된 데이터셋에서 고전적 통계학적 학습 방법과 딥러닝(CNN) 간의 성능을 비교하기 위해.
• 얼굴 매력도 예측 연구에서 일관성과 신뢰성을 확보하기 위한 표준을 수립하기 위해.
• 재현 가능하고 평가 가능한 미감 인식 알고리즘 연구를 지원하기 위해 공개된 데이터셋을 제공하기 위해.

제안 방법

• SCUT-FBP 데이터셋은 아시아 여성의 500장의 고화질 얼굴 초상화로 구성되며, 각 이미지는 다수의 인간 평가자에 의해 매력도가 평가되었다.
• 데이터 신뢰성 확보를 위해 평가 일관성, 표준편차, 자기 일관성 등이 검증되었다.
• 모델 입력을 위해 기하학적 특징(예: 얼굴 형상, 대칭성)과 텍스처 특징(예: 피부 질감, 색상)이 추출되었다.
• 이러한 특징의 조합을 사용하여 고전적 기계학습 모델을 학습하여 매력도 점수를 예측하였다.
• 모든 단계에서 원시 얼굴 이미지에 대해 엔드 투 엔드로 학습된 컨volutional 네ural 웹(CNN)이 매력도 예측을 위한 계층적 표현을 학습하도록 설계되었다.
• 성능 평가는 예측된 매력도 점수와 실제 매력도 점수 간의 피어슨 상관계수를 사용하여 평가되었다.

실험 결과

연구 질문

• RQ1 표준화된 데이터셋에서 고전적 특징 기반 모델의 얼굴 매력도 예측 성능은 어떠한가?
• RQ2 딥러닝 모델(CNN)은 고전적 방법에 비해 얼굴 매력도 예측에서 어떤가?
• RQ3 SCUT-FBP 데이터셋은 평가자 간에 평가 일관성과 신뢰성을 얼마나 잘 확보하고 있는가?
• RQ4 통합된 기준 데이터셋은 얼굴 미감 인식 연구의 재현 가능성과 비교 가능성 향상에 기여하는가?
• RQ5 매력도 예측에 최적의 기하학적 특징과 텍스처 특징의 조합은 무엇인가?

주요 결과

• SCUT-FBP 데이터셋은 평가자 간에 검증된 일관성, 표준편차, 자기 일관성으로 높은 신뢰성을 확보하였다.
• 가장 높은 성능을 보인 모델은 CNN이었으며, 실제 매력도 평가와 피어슨 상관계수 0.8187을 기록하였다.
• 기하학적 특징과 텍스처 특징를 조합한 고전적 모델는 중간 수준의 성능를 보였지만, CNN의 정확도에 못 미쳤다.
• 표준화된 평가와 대규모 데이터셋 덕분에 향후 얼굴 매력도 예측 알고리즘의 기준 평가에 적합하다.
• 결과적으로 딥러닝 모델이 이 데이터셋에서 전통적 특징 기반 접근법보다 뛰어난 성능을 보임을 확인하였다.
• 본 연구는 SCUT-FBP가 얼굴 매력도 예측 연구를 위한 신뢰성 있고 효과적인 기준으로서의 역할을 할 수 있음을 입증하였다.