[論文レビュー] SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction

Lingyu Liang, Luojun Lin+3 more|arXiv (Cornell University)|Jan 19, 2018

Face recognition and analysis参考文献 32被引用数 26

ひとこと要約

本論文は、性別（男性／女性）、人種（アジア系／白人）、および年齢にわたる多様な顔貌をカバーする5,500枚の正面顔画像を含み、顔の特徴点、美しさスコア（1～5）、およびスコア分布を含む豊富なアノテーションを持つ、SCUT-FBP5500と呼ばれるベンチマークデータセットを紹介する。このデータセットにより、分類、回帰、ランク付けの複数のパラダイムを統合した顔の美しさ予測が可能となり、ResNeXt-50などの深層学習モデルを用いた評価において、5分割交差検証の正解率89.97％、RMSE 0.3017の優れた性能を示した。

ABSTRACT

Facial beauty prediction (FBP) is a significant visual recognition problem to make assessment of facial attractiveness that is consistent to human perception. To tackle this problem, various data-driven models, especially state-of-the-art deep learning techniques, were introduced, and benchmark dataset become one of the essential elements to achieve FBP. Previous works have formulated the recognition of facial beauty as a specific supervised learning problem of classification, regression or ranking, which indicates that FBP is intrinsically a computation problem with multiple paradigms. However, most of FBP benchmark datasets were built under specific computation constrains, which limits the performance and flexibility of the computational model trained on the dataset. In this paper, we argue that FBP is a multi-paradigm computation problem, and propose a new diverse benchmark dataset, called SCUT-FBP5500, to achieve multi-paradigm facial beauty prediction. The SCUT-FBP5500 dataset has totally 5500 frontal faces with diverse properties (male/female, Asian/Caucasian, ages) and diverse labels (face landmarks, beauty scores within [1,~5], beauty score distribution), which allows different computational models with different FBP paradigms, such as appearance-based/shape-based facial beauty classification/regression model for male/female of Asian/Caucasian. We evaluated the SCUT-FBP5500 dataset for FBP using different combinations of feature and predictor, and various deep learning methods. The results indicates the improvement of FBP and the potential applications based on the SCUT-FBP5500.

研究の動機と目的

• 顔の美しさ予測（FBP）の分野において、複数の計算パラダイムをサポートする多様で包括的なベンチマークデータセットの不足を解消すること。
• 従来のデータセットがしばしば特定のマイノリティ（例：アジア系女性）や特定のタスク（例：外見に基づくもののみ）に偏っているという限界を克服すること。
• 顔の性質の多様性と多段階のアノテーションを備えた包括的で公開可能なデータセットを提供し、強固なFBPモデルの開発を支援すること。
• 浅層モデルと深層学習モデルの両方を、外見に基づく、形状に基づく、ハイブリッドなアプローチを含む、さまざまなFBPパラダイムで評価可能にする。
• 多様で高品質なデータを通じて、一般化可能で人間の評価と整合性のある顔の魅力的さ評価システムの開発を促進すること。

提案手法

• 性別（男性／女性）、人種（アジア系／白人）、年齢層にわたるバランスの取れた代表を有する5,500枚の正面顔画像を収集・キュレーションする。
• 各画像に対して5点の美しさスコア（1～5）、86個の顔の特徴点、および関連する美しさスコア分布をアノテートする。
• 同じデータセットを用いて分類、回帰、ランク付けのタスクのトレーニングと評価が可能なように、複数のFBPパラダイムをサポートする。
• ハンドクラフト特徴量（例：86点特徴点とUniSamplePointサンプリングを用いたガボール特徴量）と深層学習モデル（AlexNet、ResNet-18、ResNeXt-50）の両方を用いて性能を評価する。
• モデルの一般化性能と多様なトレーニング体制における頑健性を評価するため、5分割交差検証と60％／40％のトレーニング／テスト分割を適用する。
• 浅層予測器のトレーニングの前処理として抽出された外見特徴量に対してPCAを適用し、深層学習評価のための事前学習済みImageNetモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 多様で複数パラダイム対応のベンチマークデータセットは、異なるマイノリティや計算パラダイムにおける顔の美しさ予測モデルの性能と一般化性能を向上させることができるか？
• RQ2 大規模で多様なFBPデータセットにおいて、深層学習モデル（例：ResNeXt-50）は、ハンドクラフト特徴量を用いた浅層モデルと比較して、正解率、MAE、RMSEの観点で優れているか？
• RQ3 トレーニングセットにおけるデータの多様性（例：性別、人種、年齢）が、さまざまな学習パラダイム下でのFBPモデルの性能にどの程度影響を与えるか？
• RQ4 顔の特徴点とスコア分布の追加が、単一のスコアのみを用いるモデルと比較して、FBPシステムの信頼性と解釈可能性を高めているか？
• RQ5 5分割交差検証と60％／40％の分割という異なるデータ分割戦略が、SCUT-FBP5500におけるFBPモデルの評価にどのように影響を及えるか？

主な発見

• SCUT-FBP5500データセットは、ResNeXt-50モデルを用いた5分割交差検証で89.97％の正解率を達成し、AlexNet（86.34％）およびResNet-18（89.00％）を上回った。
• ResNeXt-50モデルは5分割交差検証においてRMSE 0.3017、MAE 0.2291を達成し、回帰性能が優れていた。
• 60％／40％のトレーニング／テスト分割では、5分割交差検証よりもわずかに正解率が低く（87.77％）、RMSEが高くなった（0.3325）ことから、データの多様性とトレーニングセットのサイズがモデルの一般化に影響を与えることが示された。
• 深層学習モデルは、ハンドクラフト特徴量を用いた浅層予測器を常に上回った：ResNeXt-50は5分割PC 89.97％を達成したのに対し、AlexNetは86.34％、ResNet-18は89.00％であった。
• このデータセットは複数パラダイムFBPをサポートしており、分類、回帰、ランク付けのタスクにおいて、外見に基づく、形状に基づく、ハイブリッドなモデルの効果的な評価が可能である。
• 美しさスコア分布と特徴点配置の可視化により、データセットが人種的・美的次元において統計的に多様で代表的であることが確認された。