[論文レビュー] Predicting Social Perception from Faces: A Deep Learning Approach

Uwe Messer, Stefan Faußer|arXiv (Cornell University)|Jun 29, 2019

Evolutionary Psychology and Human Behavior参考文献 31被引用数 4

ひとこと要約

本稿では、顔画像から人間の温かさと誠実さの認識を予測するためのディーブラーニング手法を提案する。深層畳み込みニューラルネットワーク（DCNN）とGrad-CAMを用い、温かさの予測で90%、誠実さの予測で80%の精度を達成し、これらの判断を左右する顔の領域を同定した。

ABSTRACT

Warmth and competence represent the fundamental traits in social judgment that determine emotional reactions and behavioral intentions towards social targets. This research investigates whether an algorithm can learn visual representations of social categorization and accurately predict human perceivers' impressions of warmth and competence in face images. In addition, this research unravels which areas of a face are important for the classification of warmth and competence. We use Deep Convolutional Neural Networks to extract features from face images and the Gradient-weighted Class Activation Mapping (Grad CAM) method to understand the importance of face regions for the classification. Given a single face image the trained algorithm could correctly predict warmth impressions with an accuracy of about 90% and competence impressions with an accuracy of about 80%. The findings have implications for the automated processing of faces and the design of artificial characters.

研究の動機と目的

• ディーブラーニングモデルが顔画像から人間の温かさと誠実さに関する社会的認識を正確に予測できるかどうかを調査すること。
• 説明可能なAI技術を用いて、温かさと誠実さの認識に最も寄与する顔の領域を同定すること。
• 心理的およびAIアプリケーションへの応用を想定し、解釈可能性を備えた自動社会的認識予測システムの開発。
• 視覚的特徴を用いた顔画像から、社会的判断の基本的次元をモデル化する可能性を検討すること。
• 顔認識における視覚的手がかりの理解を通じて、社会的に知的な人工エージェントの設計に貢献すること。

提案手法

• 顔画像を用いて、社会的認識の表現を学習するための深層畳み込みニューラルネットワーク（DCNN）を訓練した。
• 予測に最も影響を与える顔の領域を可視化・解釈するために、勾配加重クラス活性マッピング（Grad-CAM）手法を用いた。
• 人間がアノテートした社会的認識スコアに基づき、温かさと誠実さの予測用に別々のモデルを訓練した。
• 社会的認識データセット上で微調整する前に、事前学習済みのCNNアーキテクチャを用いて顔画像から深層特徴を抽出した。
• 過学習を防ぎ、一般化性能を向上させるために、訓練中にL2正則化とドロップアウトを適用した。
• 性能をモニタリングし、評価用に最良のモデルを選択するために、検証用データ分割を用いた。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、顔画像から人間の温かさの認識を正確に予測できるか？
• RQ2 ディーブラーニングモデルは、顔画像から人間の誠実さの認識を正確に予測できるか？
• RQ3 どの顔の領域が、認識された温かさと誠実さに対して最も予測的か？
• RQ4 モデルが学習した視覚的特徴は、人間が特定した社会的認識の手がかりとどのように一致するか？
• RQ5 説明可能なAI手法（例：Grad-CAM）は、社会的認識タスクにおけるモデルの意思決定プロセスをどの程度明らかにできるか？

主な発見

• 単一の顔画像からの温かさ認識予測において、モデルは約90%の予測精度を達成した。
• 単一の顔画像からの誠実さ認識予測において、モデルは約80%の予測精度を達成した。
• Grad-CAM分析により、温かさの予測においては目と口の領域が最も顕著であることが判明したが、誠実さの予測では目と眉の領域が重要であった。
• 目の形、視線の方向、口の曲がり具合といった顔の特徴が、社会的認識判断において一貫して重要であると同定された。
• モデルは多様な顔画像に対して強固な一般化性能を示しており、深層特徴が意味のある社会的手がかりを捉えていることが示された。
• 結果から、視覚入力のみを用いてディーブラーニングが、社会的認識の基本的次元を効果的にモデル化できることを示唆している。