[논문 리뷰] SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction

Lingyu Liang, Luojun Lin외 3명|arXiv (Cornell University)|2018. 01. 19.

Face recognition and analysis참고 문헌 32인용 수 26

한 줄 요약

이 논문은 남성/여성, 히스패닉계/백인, 다양한 연령대를 포함하는 5,500장의 정면 얼굴을 포함하는 다양성 있는 벤치마크 데이터셋인 SCUT-FBP5500을 소개한다. 이 데이터셋은 얼굴 랜드마크, 미적 점수(1–5점), 점수 분포 등 풍부한 애너테이션을 제공하며, 분류, 회귀, 랭킹 작업을 지원하는 다중 패러다임 얼굴 미적 예측을 가능하게 한다. 또한 ResNeXt-50와 같은 딥러닝 모델을 통해 5폴드 교차검증 정확도 89.97%와 RMSE 0.3017을 달성하여 뛰어난 성능을 보였다.

ABSTRACT

Facial beauty prediction (FBP) is a significant visual recognition problem to make assessment of facial attractiveness that is consistent to human perception. To tackle this problem, various data-driven models, especially state-of-the-art deep learning techniques, were introduced, and benchmark dataset become one of the essential elements to achieve FBP. Previous works have formulated the recognition of facial beauty as a specific supervised learning problem of classification, regression or ranking, which indicates that FBP is intrinsically a computation problem with multiple paradigms. However, most of FBP benchmark datasets were built under specific computation constrains, which limits the performance and flexibility of the computational model trained on the dataset. In this paper, we argue that FBP is a multi-paradigm computation problem, and propose a new diverse benchmark dataset, called SCUT-FBP5500, to achieve multi-paradigm facial beauty prediction. The SCUT-FBP5500 dataset has totally 5500 frontal faces with diverse properties (male/female, Asian/Caucasian, ages) and diverse labels (face landmarks, beauty scores within [1,~5], beauty score distribution), which allows different computational models with different FBP paradigms, such as appearance-based/shape-based facial beauty classification/regression model for male/female of Asian/Caucasian. We evaluated the SCUT-FBP5500 dataset for FBP using different combinations of feature and predictor, and various deep learning methods. The results indicates the improvement of FBP and the potential applications based on the SCUT-FBP5500.

연구 동기 및 목표

• 다양한 민족, 성별, 연령대를 포함하며 분류, 회귀, 랭킹 작업을 지원하는 다중 패러다임 얼굴 미적 예측(FBP)을 위한 벤치마크 데이터셋의 부족을 해결한다.
• 이전 데이터셋이 종종 한정된 민족(예: 히스패닉계 여성)이나 특정 작업(예: 외형 기반 전용)에 집중하는 점을 보완한다.
• 다양한 얼굴 특성과 다단계 애너테이션을 포함한 포괄적이고 공개 가능한 데이터셋을 제공하여 강력한 FBP 모델 개발을 지원한다.
• 외형 기반, 형태 기반, 하이브리드 접근 방식을 포함한 다양한 FBP 패러다임에서 얕은 학습 모델과 깊은 학습 모델의 평가를 가능하게 한다.
• 다양하고 고도로 품질이 높은 데이터를 통해 일반화 가능하고 인간의 판단과 일관된 얼굴 매력도 평가 시스템 개발을 촉진한다.

제안 방법

• 성별(남성/여성), 민족(히스패닉계/백인), 연령대에 걸쳐 균형 잡힌 표현을 보이는 5,500장의 정면 얼굴 이미지를 수집하고 정제한다.
• 각 이미지에 대해 5점 척도의 미적 점수(1–5점), 86개의 얼굴 랜드마크, 관련된 미적 점수 분포를 애너테이션한다.
• 동일한 데이터셋을 사용해 분류, 회귀, 랭킹 작업을 위한 학습 및 평가가 가능한 다중 FBP 패러다임을 지원한다.
• 수작업 특징(예: 86점 키포인트 및 UniSamplePoint 샘플링을 사용한 Gabor 특징)과 딥러닝 모델(AlexNet, ResNet-18, ResNeXt-50)을 활용해 성능을 평가한다.
• 모델 일반화력과 다양한 학습 제약 조건에서의 강건성을 평가하기 위해 5폴드 교차검증과 60%/40% 학습/테스트 분할을 적용한다.
• 얕은 예측 모델 학습 전에 추출된 외형 특징에 대해 주성분 분석(PCA)을 적용하여 차원 축소를 수행하고, 사전 학습된 ImageNet 모델을 미세조정하여 딥러닝 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다양하고 다중 패러다임 기반의 벤치마크 데이터셋은 다양한 민족과 계층, 다양한 계산 패러다임에서 얼굴 미적 예측 모델의 성능 향상과 일반화 능력을 향상시킬 수 있는가?
• RQ2 대규모이고 다양한 FBP 데이터셋에서 딥러닝 모델(예: ResNeXt-50)은 수작업 특징을 사용한 얕은 모델에 비해 정확도, MAE, RMSE 측면에서 어떻게 비교되는가?
• RQ3 학습 세트의 데이터 다양성(예: 성별, 민족, 연령대)이 다양한 학습 패러다임에서 FBP 모델의 성능에 어느 정도 영향을 미치는가?
• RQ4 얼굴 랜드마크와 점수 분포 정보를 포함함으로써, 단순히 점수만 사용하는 모델에 비해 FBP 시스템의 신뢰성과 해석 가능성은 얼마나 향상되는가?
• RQ5 다양한 데이터 분할 전략(5폴드 교차검증 대비 60%/40% 분할)은 SCUT-FBP5500에서 FBP 모델 성능 평가에 어떻게 영향을 미치는가?

주요 결과

• SCUT-FBP5500 데이터셋은 ResNeXt-50 모델을 사용해 5폴드 교차검증 정확도 89.97%를 달성했으며, AlexNet(86.34%)과 ResNet-18(89.00%)에 비해 뛰어난 성능을 보였다.
• ResNeXt-50 모델은 5폴드 교차검증에서 RMSE 0.3017과 MAE 0.2291을 기록해 강력한 회귀 성능을 입증했다.
• 60%/40% 학습/테스트 분할은 5폴드 교차검증에 비해 약간 낮은 정확도(87.77%)와 높은 RMSE(0.3325)를 기록해, 데이터 다양성과 학습 세트 크기가 모델 일반화에 영향을 미친다는 것을 시사한다.
• 딥러닝 모델은 항상 수작업 특징을 사용한 얕은 예측 모델보다 뛰어난 성능을 보였다: ResNeXt-50는 5폴드 PC 89.97%를 기록했고, AlexNet는 86.34%, ResNet-18는 89.00%였다.
• 이 데이터셋은 다중 패러다임 FBP를 지원하여 외형 기반, 형태 기반, 하이브리드 모델이 분류, 회귀, 랭킹 작업 모두에서 효과적으로 평가될 수 있도록 했다.
• 미적 점수 분포와 랜드마크 배치의 시각화 결과는 데이터셋이 민족적, 미적 차원에서 통계적으로 다양하고 대표성을 갖춘 것으로 확인되었다.