[論文レビュー] A new humanlike facial attractiveness predictor with cascaded fine-tuning deep learning model

Jie Xu, Lianwen Jin+3 more|arXiv (Cornell University)|Nov 8, 2015

Evolutionary Psychology and Human Behavior参考文献 21被引用数 37

ひとこと要約

本稿では、大容量の入力と小さなカーネルを用いた深層畳み込みニューラルネットワーク（CNN）を用いて、RGB、ディテール、ライティングの3つのチャネルからなる顔面入力を処理することで、顔の魅力を予測する段階的微調整を施した深層学習モデルを提案する。このモデルは人間の判断と相関係数0.88を達成し、美しさの認識において顔の滑らかさ、明るさ、色の重要性を示している。

ABSTRACT

This paper proposes a deep leaning method to address the challenging facial attractiveness prediction problem. The method constructs a convolutional neural network of facial beauty prediction using a new deep cascaded fine-turning scheme with various face inputting channels, such as the original RGB face image, the detail layer image, and the lighting layer image. With a carefully designed CNN model of deep structure, large input size and small convolutional kernels, we have achieved a high prediction correlation of 0.88. This result convinces us that the problem of facial attractiveness prediction can be solved by deep learning approach, and it also shows the important roles of the facial smoothness, lightness, and color information that were involved in facial beauty perception, which is consistent with the result of recent psychology studies. Furthermore, we analyze the high-level features learnt by CNN through visualization of its hidden layers, and some interesting phenomena were observed. It is found that the contours and appearance of facial features, especially eyes and moth, are the most significant facial attributes for facial attractiveness prediction, which is also consistent with the visual perception intuition of human.

研究の動機と目的

• 人間の知覚を模倣する深層学習ベースの顔の魅力予測モデルの開発。
• RGB、ディテール、ライティングの3つのチャネルからなる顔面入力が魅力予測に与える影響の調査。
• CNNが学習する高レベル特徴を分析し、魅力判断を左右する顔の特徴を理解すること。
• モデルの性能を人間がアノテートした魅力スコアと比較して検証すること。
• 学習された特徴が顔の美しさ認識に関する心理学的知見とどの程度一貫性を示すかの探求。

提案手法

• 本モデルは、顔の微細なディテールを捉えるために、大容量の入力と小さな畳み込みカーネルを備えた深層畳み込みニューラルネットワーク（CNN）を採用している。
• 段階的微調整戦略を用いて、順次ネットワークを異なる顔面入力チャネル（元のRGB、ディテール層、ライティング層）に適応させる。
• 入力チャネルは別々に処理され、その後統合されて魅力予測のための特徴表現を強化する。
• 教師あり学習により、人間がラベル付けした魅力スコアを正例として、ネットワークをエンドツーエンドで訓練する。
• 高レベル特徴は、隠れ層の活性化マップを可視化することで解釈可能となる。
• モデルの評価は、予測されたスコアと人間がアノテートした魅力スコアの間の人物単位の相関係数を用いる。

実験結果

リサーチクエスチョン

• RQ1 RGB、ディテール、ライティングの3つのチャネルからなる顔面入力が、深層学習ベースの魅力予測モデルの性能に与える影響は何か？
• RQ2 CNNの学習された表現から、人間の魅力判断において最も予測力のある顔の特徴は何か？
• RQ3 モデルの性能が人間の顔の美しさ判断とどの程度相関しているか？
• RQ4 CNNが学習する高レベル特徴は、顔の美しさに関する既知の心理学的原則と一致しているか？
• RQ5 段階的微調整は、魅力予測に適した顔の特徴を効果的に抽出する能力を向上させるか？

主な発見

• 提案されたモデルは、予測スコアと人間がアノテートした魅力スコアの間で人物単位の相関係数0.88を達成し、人間の知覚と強い整合性を示している。
• ディテール層およびライティング層の入力を組み込むことで、RGBのみの入力に比べて予測性能が顕著に向上した。
• 隠れ層の可視化により、顔の輪郭や顔の特徴、特に目と口が魅力予測において最も顕著な特徴であることが明らかになった。
• モデルが学習した特徴は、心理学的研究で顔の滑らかさ、明るさ、色が美しさ認識の鍵要因であると強調していることと整合的である。
• 段階的微調整戦略により、ネットワークが異なる顔の表現に段階的に適応することで、特徴学習が向上した。
• 結果から、構造的でマルチチャネル入力を用いた深層学習が、人間と同等の顔の魅力判断を効果的にモデル化できることを確認した。