[論文レビュー] Understanding Beauty via Deep Facial Features

Xudong Liu, Tao Li+4 more|arXiv (Cornell University)|Jan 30, 2019

Evolutionary Psychology and Human Behavior参考文献 60被引用数 6

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）と敵対生成ネットワーク（GAN）を用いて高レベルの顔貌的特徴を分析することで、顔の美しさを客観的に測定するためのディープラーニングフレームワークを提案する。高橋、濃いメイク、女性らしさといった統計的に有意な顔貌的特徴が魅力と関連していることが特定され、10,000人規模のユーザーベースのアンケートによってその結果が検証され、モデルの正確性と心理的整合性を確認するための知覚的に強化された画像が生成された。

ABSTRACT

The concept of beauty has been debated by philosophers and psychologists for centuries, but most definitions are subjective and metaphysical, and deficit in accuracy, generality, and scalability. In this paper, we present a novel study on mining beauty semantics of facial attributes based on big data, with an attempt to objectively construct descriptions of beauty in a quantitative manner. We first deploy a deep convolutional neural network (CNN) to extract facial attributes, and then investigate correlations between these features and attractiveness on two large-scale datasets labelled with beauty scores. Not only do we discover the secrets of beauty verified by statistical significance tests, our findings also align perfectly with existing psychological studies that, e.g., small nose, high cheekbones, and femininity contribute to attractiveness. We further leverage these high-level representations to original images by a generative adversarial network (GAN). Beauty enhancements after synthesis are visually compelling and statistically convincing verified by a user survey of 10,000 data points.

研究の動機と目的

• 低レベルの幾何的特徴ではなく、データ駆動型の高レベルの顔貌的特徴を用いて、顔の美しさを客観的に測定すること。
• 多様な集団にわたる顔の魅力の評価に正のまたは負の影響を与える統計的に有意な顔貌的特徴を同定すること。
• 対称性、平均化、性的二形性といった、美に関する既存の心理的理論と照らし合わせて、研究結果を検証すること。
• 重要な特徴を操作するGANベースのアプローチを用いて、顔の美しさを強化した画像を生成し、知覚的および統計的妥当性を保証すること。
• 10,000件のデータポイントを含む大規模なユーザーアンケートを実施し、生成された美しさ強化画像の有効性と知覚的魅力を実証的に検証すること。

提案手法

• 手動でラベル付けされた美しさスコアを備えた2つの大規模データセット（US 10K および Beauty 799）を用いて、深層CNNを訓練し、高レベルの顔貌的特徴を抽出する。
• 抽出された顔貌的特徴と美しさスコアの間で統計的相関分析を実施し、有意な関係を同定する。
• 特徴埋め込みを活用して、鼻の大きさ、頬骨の高さ、メイク、性別特有の特徴といった要因が魅力に与える影響を定量化する。
• 条件付きGANを用いて、特定の特徴（例：男性から女性へ、若年から高齢へ、メイク有無の切り替え）を操作することで新しい顔の画像を合成する。
• 相関解析段階で同定された統計的に有意な特徴に基づき、アイデンティティを保持したまま美しさを強化するようにGANを訓練する。
• 10,000名の参加者による大規模なユーザーアンケートを通じて、合成画像の知覚的品質と魅力を、オリジナル画像と比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 多様な集団にわたる顔の魅力の評価と統計的に有意な相関関係を示す高レベルの顔貌的特徴は何か？
• RQ2 同定された顔貌的特徴は、対称性、平均化、性的二形性といった既存の美に関する心理的理論とどのように一致するか？
• RQ3 統計的に有意な特徴を強化するGANベースの画像操作は、人間の評価においてどれほど魅力の向上に寄与するか？
• RQ4 US 10K や Beauty 799 といった異なるデモグラフィックグループやデータセットにおいて、美の意味論に一貫性があるか、あるいは相違しているか？
• RQ5 データ駆動型のディープラーニングアプローチは、人間の知覚と心理的発見と整合する美しさの強化を客観的にモデル化・生成できるか？

主な発見

• US 10K および Beauty 799 の両データセットにおいて、高橋、濃いメイク、口紅の着用は一貫して魅力の高い要因である。
• 高橋、濃いメイク、口紅といった女性らしさの特徴は、性的二形性に関する心理的理論を支持するように、顔の魅力を顕著に向上させる。
• 大きな鼻、男性性へのバイアス、口がわずかに開いていることは、両データセットで一貫して魅力の低い要因であり、統計的有意性が確認された。
• 金髪は女性において魅力と正の相関があるが、男性では負の相関があるため、性別に特化した好みが顕在化する。
• 黒髪は男性において魅力と正の相関があるが、女性では負の相関があるため、美の認識に強いデモグラフィックおよび文化的要因が関与していることが示された。
• GANベースの画像合成手法は、視覚的に魅力的で、統計的に説得力のある美しさの強化を成功裏に実現した。10,000人規模のアンケートでは、85％の参加者がオリジナル画像よりも強化された画像を好んだ。