[論文レビュー] First Impressions: A Survey on Vision-Based Apparent Personality Trait Analysis

Julio C. S. Jacques, Yağmur Güçlütürk+9 more|arXiv (Cornell University)|Apr 21, 2018

Personality Traits and Psychology参考文献 116被引用数 26

ひとこと要約

本調査では、視覚的アプローチを用いた表面的パーソナリティ特徴の分析について包括的なレビューを提供しており、顔貌、身体的動作、行動的特徴を用いてパーソナリティ特徴（特にOCEAN）を推定するコンピュータビジョンおよび機械学習手法に関する古典的で最近の研究を網羅している。主な貢献は、研究手法、データセット、課題、今後の研究方向性の体系的分析であり、ラベル付けの主観性、マルチモーダル統合、エンドツーエンドの第一印象モデリングにおけるディープラーニングの可能性に焦点を当てている。

ABSTRACT

Personality analysis has been widely studied in psychology, neuropsychology, and signal processing fields, among others. From the past few years, it also became an attractive research area in visual computing. From the computational point of view, by far speech and text have been the most considered cues of information for analyzing personality. However, recently there has been an increasing interest from the computer vision community in analyzing personality from visual data. Recent computer vision approaches are able to accurately analyze human faces, body postures and behaviors, and use these information to infer apparent personality traits. Because of the overwhelming research interest in this topic, and of the potential impact that this sort of methods could have in society, we present in this paper an up-to-date review of existing vision-based approaches for apparent personality trait recognition. We describe seminal and cutting edge works on the subject, discussing and comparing their distinctive features and limitations. Future venues of research in the field are identified and discussed. Furthermore, aspects on the subjectivity in data labeling/evaluation, as well as current datasets and challenges organized to push the research on the field are reviewed.

研究の動機と目的

• 視覚ベースの表面的パーソナリティ特徴認識に関する包括的かつ最新のレビューを提供すること。
• 視覚的データからのパーソナリティ認識における既存の計算手法の強み、限界、特徴を分析すること。
• データラベリング、主観性、バイアスに関する主な課題を特定し、現在の公開データセットおよびコンテストを評価すること。
• マルチモーダル統合、連続的予測、解釈可能性のあるAI（XAI）を含む、今後の研究方向性を検討すること。
• 心理学と機械学習の間のギャップを埋めるために、先行知識の統合とモデルの解釈性向上の機会を強調すること。

提案手法

• 顔貌の表情、身体の姿勢、ジェスチャー、非言語的行動に注目した、視覚ベースの表面的パーソナリティ特徴認識の体系的文献レビュー。
• モality（ビジュアルオンリー、マルチモーダル）、特徴工学（ハンドクラフト特徴 vs. ディープ特徴）、学習パラダイム（教師あり、弱教師あり、エンドツーエンド）に基づく手法の分類。
• 分野で用いられるデータセットの分析、特に人種的多様性、ラベル付けプロトコル、評価プロトコルの観点から。
• 報告された正答率、F1スコア、相関係数を用いて、OCEANの各パーソナリティ次元（Big-Five）におけるパフォーマンスの評価。
• 動画シーケンスにおける視覚的特徴の空間的・時間的モデリングに適した、CNN、RNN、3D-CNNなどのディープラーニングアーキテクチャの検討。
• データ収集中における観察者バイアスと主観的ラベリングの影響、特に第一印象文脈におけるモデルの汎化性と評価への影響の調査。

実験結果

リサーチクエスチョン

• RQ1 第一印象において、どの視覚的特徴（顔貌、身体、ジェスチャー）が表面的パーソナリティ特徴を最も効果的に予測するか？
• RQ2 異なる特徴工学アプローチと学習モデルは、Big-Fiveパーソナリティ次元ごとにどのようにパフォーマンスを発揮するか？
• RQ3 人間によるラベリングの主観性が、パーソナリティ認識モデルの信頼性と汎化性に及ぼす影響はどの程度か？
• RQ4 現在のデータセットの主な制限は何であり、今後のデータセットはどのように多様な集団と現実世界の状況をよりよく反映できるか？
• RQ5 ディープラーニングモデルは、マルチモーダル統合とエンドツーエンド学習を向上させるためにどのように活用できるか？

主な発見

• パフォーマンスはBig-Fiveの各特徴によって顕著に異なる。データセットや特徴セットに応じて、勤勉性（Conscientiousness）と開放性（Openness）の認識率が他よりも高い傾向にある。
• ハンドクラフト特徴と従来の機械学習手法が依然として主流であるが、CNNなどのディープラーニングモデルはエンドツーエンドの視覚的表現学習において有望な結果を示している。
• 人間によるラベリングの主観性と観察者バイアスは、データ品質とモデル評価の両方にとって主要な課題であり、特に第一印象文脈において顕著である。
• 現在のデータセットは規模、多様性、現実世界の再現性に制限があり、連続的または動的パーソナリティ予測をサポートするものはほとんどない。
• 視覚的特徴と文脈的特徴を統合するマルチモーダル統合はパフォーマンス向上の可能性を秘めているが、現在のアプローチではまだ十分に検討されていない。
• 特に文化的多様性や包摂性を考慮した文脈において、進展を促進するための大規模で公開可能なデータセットとコンテストの強化が強く求められている。