[論文レビュー] Automated Inference on Sociopsychological Impressions of Attractive Female Faces

Xiaolin Wu, Xi Zhang+1 more|arXiv (Cornell University)|Dec 11, 2016

Evolutionary Psychology and Human Behavior参考文献 16被引用数 3

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）を用いた教師あり深層学習的手法を提案し、魅力的な若い中国女性の顔画像から、自己認識された性格的特徴や雰囲気といった社会的・心理的認識を自動的に推定することを目的としている。約4,000枚のラベル付き画像で訓練されたモデルは、中国男性の観察者によって「承認」または「不承認」とされた顔を識別する際、80.5％の正確性を達成しており、CNNが文化的に影響を受ける微細な手がかり（自然さや化粧の使用）を検出できることを示唆している。これらの手がかりは社会的判断と相関している。

ABSTRACT

This article is a sequel to our earlier work [25]. The main objective of our research is to explore the potential of supervised machine learning in face-induced social computing and cognition, riding on the momentum of much heralded successes of face processing, analysis and recognition on the tasks of biometric-based identification. We present a case study of automated statistical inference on sociopsychological perceptions of female faces controlled for race, attractiveness, age and nationality. Our empirical evidences point to the possibility of training machine learning algorithms, using example face images characterized by internet users, to predict perceptions of personality traits and demeanors.

研究の動機と目的

• 教師あり機械学習が、顔画像から性格的特徴や雰囲気といった社会的・心理的認識を統計的に推定できるかどうかを調査すること。
• 顔の特徴が主観的な社会的判断と相関するかどうか、特に女性の魅力と文化的な自然さ対人工的さの認識の文脈において検討すること。
• 深層学習モデルが、化粧の強度や色の彩度といった、社会的認知に関連する微細な視覚的手がかりを学習し一般化できるかどうかを特定すること。
• 過学習を除外するため、モデルの性能をランダムラベルと比較して検証し、学習されたパターンが実際の社会的・心理的相関を反映しているかどうかを確認すること。
• CNNが、自然さといった文化的に繊細な視覚的手がかりを検出できるかどうかを検討すること。これらの手がかりは、女性の顔に対する承認または不承認に関連している。

提案手法

• 人種、年齢、国籍、魅力の点で厳密に制御された若い中国女性の顔画像約4,000枚を収集し、中国男性の学生による社会的・心理的認識（承認／不承認）に基づいてラベル付けした。
• 顔の外見から観察者の性格的特徴や雰囲気の認識を予測するため、これらのラベル付き画像で畳み込みニューラルネットワーク（CNN）分類器を訓練した。
• グレースケールに変換することで、色の手がかり（特に彩度やコントラストといった化粧関連の特徴）の寄与度を評価するためのアブレーションスタディを実施した。
• 承認された（S₁）と不承認された（S₀）顔のサブセット間の色のコントラストと彩度の分布を分析し、社会的認知に関連する視覚的パターンを同定した。
• 過学習をテストするため、ラベルをランダムに再割り当てする故障診断実験を実施。モデルはランダムラベルを区別できなかったため、ノイズを超えて一般化していることが確認された。
• ROC曲線と性能指標（正確性、偽陽性／偽陰性率）を用いて、色付きとグレースケールの入力におけるモデル性能を評価・比較した。

実験結果

リサーチクエスチョン

• RQ1 教師あり機械学習モデルは、魅力的な若い女性の顔画像から、信頼性や無邪気さ、威圧感といった社会的・心理的認識を検出・分類できるか？
• RQ2 彩度、コントラスト、化粧の強度といった視覚的手がかりが、観察者の女性の顔に対する承認／不承認の判断とどの程度相関しているか？
• RQ3 深層学習モデルが社会的認知を推定する際の性能が、実際の相関に起因するのか、単に訓練データに過学習しているだけなのか？
• RQ4 中国のような文化的文脈において、自然さと見なされる顔（承認）と人工的と見なされる顔（不承認）の間で、色の特徴（例：彩度、コントラスト）にどのような違いがあるか？
• RQ5 ある種の社会的認知に特化して訓練されたモデルが、グレースケールへの変換やラベルのランダム化といったデータの摂動に対して一般化可能か、あるいは耐性があるか？

主な発見

• CNN分類器は、中国男性観察者によって「承認」（S₁）または「不承認」（S₀）とラベル付けされた顔を識別する際、80.5％の正確性を達成しており、顔の外見と社会的・心理的認識との間には強い統計的相関があることを示している。
• グレースケール画像を使用した場合、モデルの性能はわずかに6％低下（正確性：74.59％）したが、色の手がかりが唯一の決定要因ではないものの、認知推定に意味のある貢献をしていることが示された。
• 不承認グループ（S₀）の顔は、承認グループ（S₁）と比較して、顔の色のコントラスト（平均：0.0806）と彩度（平均：0.3350）が顕著に高く、分散も大きいことから、文化的に自然さが好まれていることが示された。
• S₀の彩度ヒストограмは、極端な値（0と1）に明確なピークを示しており、非常に濃いまたは非常に鮮やかな化粧を好む傾向があることが判明した。これは否定的な社会的認識を引き起こす可能性がある。
• 故障診断実験の結果、ラベルをランダムに再割り当てした場合、モデルの正確性は約50％に低下した。これは、実際のラベルに対するモデルの性能が過学習によるものではなく、真のデータパターンを反映していることを確認した。
• グレースケールへの変換やランダムラベルへの失敗にもかかわらず、モデルが一般化できていることから、自然さや化粧のスタイルといった文化的に重要な微細な視覚的手がかりを学習したことが示された。