[論文レビュー] SCUT-FBP: A Benchmark Dataset for Facial Beauty Perception

Duorui Xie, Lingyu Liang+3 more|arXiv (Cornell University)|Nov 8, 2015

Evolutionary Psychology and Human Behavior参考文献 22被引用数 11

ひとこと要約

本稿では、500枚のアジア系女性の顔貌を含む、人間による魅力的かどうかの評価が確認されたベンチマークデータセット「SCUT-FBP」を紹介する。このデータセットを用いて、古典的手法と深層学習（CNN）を用いた顔の美しさ認識モデルの評価が行われ、ピアソン相関係数0.8187を達成し、顔の魅力的かどうかの予測研究における堅牢なベンチマークを確立した。

ABSTRACT

In this paper, a novel face dataset with attractiveness ratings, namely, the SCUT-FBP dataset, is developed for automatic facial beauty perception. This dataset provides a benchmark to evaluate the performance of different methods for facial attractiveness prediction, including the state-of-the-art deep learning method. The SCUT-FBP dataset contains face portraits of 500 Asian female subjects with attractiveness ratings, all of which have been verified in terms of rating distribution, standard deviation, consistency, and self-consistency. Benchmark evaluations for facial attractiveness prediction were performed with different combinations of facial geometrical features and texture features using classical statistical learning methods and the deep learning method. The best Pearson correlation (0.8187) was achieved by the CNN model. Thus, the results of our experiments indicate that the SCUT-FBP dataset provides a reliable benchmark for facial beauty perception.

研究の動機と目的

• 標準化された魅力的かどうかの評価を備えた、信頼性が高く大規模なベンチマークデータセットを構築すること。
• 幾何学的特徴およびテクスチャ特徴の組み合わせが、顔の魅力的かどうかを予測する上でどの程度有効であるかを評価すること。
• 提案されたデータセット上で、古典的手法と深層学習（CNN）の性能を比較すること。
• 顔の魅力的かどうかの予測研究における一貫性と信頼性の基準を確立すること。
• 再現可能な魅力的かどうかの予測アルゴリズムの評価を支援する、公開可能なデータセットを提供すること。

提案手法

• SCUT-FBPデータセットは、500枚の高品質なアジア系女性の顔貌画像から成り、複数人の人間アノテーターがそれぞれ魅力的かどうかの評価を行った。
• データの信頼性を確保しバイアスを低減するために、評価の一貫性、標準偏差、自己一貫性が検証された。
• モデル入力用に、顔の形状や対称性などの幾何学的特徴、肌の質感や色などのテクスチャ特徴が抽出された。
• これらの特徴の組み合わせを用いて、古典的手法の機械学習モデルを訓練し、魅力的かどうかのスコアを予測した。
• 畳み込みニューラルネットワーク（CNN）を、顔の画像をそのまま入力として、階層的表現を学習する形でエンドツーエンドに訓練した。
• 性能は、予測されたスコアと実際の魅力的かどうかのスコアとのピアソン相関係数を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 標準化されたデータセット上で、古典的特徴に基づくモデルの顔の魅力的かどうかの予測性能はどの程度か？
• RQ2 深層学習モデル（CNN）は、古典的手法に比べて、顔の魅力的かどうかの予測でどの程度優れているか？
• RQ3 SCUT-FBPデータセットは、アノテーター間で評価の一貫性と信頼性をどの程度確保しているか？
• RQ4 統一されたベンチマークデータセットは、顔の美しさ認識研究における再現可能性と比較可能性を向上させることができるか？
• RQ5 顔の幾何学的特徴とテクスチャ特徴の最適な組み合わせは何か？

主な発見

• SCUT-FBPデータセットは、アノテーター間で評価の一貫性、標準偏差、自己一貫性が確認され、高い信頼性を達成した。
• 最も優れた性能を示したのはCNNで、正解の魅力的かどうかのスコアとのピアソン相関係数が0.8187に達した。
• 幾何学的特徴とテクスチャ特徴を組み合わせた古典的手法のモデルは中程度の性能を示したが、CNNの精度には及ばなかった。
• データセットの標準化された評価と大規模さのおかげで、今後の顔の魅力的かどうかの予測アルゴリズムのベンチマークに適している。
• 結果から、このデータセット上では深層学習モデルが従来の特徴ベースのアプローチを上回ることが確認された。
• 本研究により、SCUT-FBPは顔の魅力的かどうかの予測研究における信頼性があり効果的なベンチマークであると確立された。