[论文解读] First Impressions: A Survey on Vision-Based Apparent Personality Trait Analysis

Julio C. S. Jacques, Yağmur Güçlütürk+9 more|arXiv (Cornell University)|Apr 21, 2018

Personality Traits and Psychology参考文献 116被引用 26

一句话总结

本综述全面回顾了基于视觉的表面人格特质分析，涵盖利用面部、身体和行为线索通过计算机视觉与机器学习推断人格特质（尤其是大五人格特质，OCEAN）的开创性与近期研究。主要贡献在于对方法论、数据集、挑战及未来研究方向的系统性分析，强调了标注的主观性、多模态融合以及深度学习在端到端建模第一印象方面的潜力。

ABSTRACT

Personality analysis has been widely studied in psychology, neuropsychology, and signal processing fields, among others. From the past few years, it also became an attractive research area in visual computing. From the computational point of view, by far speech and text have been the most considered cues of information for analyzing personality. However, recently there has been an increasing interest from the computer vision community in analyzing personality from visual data. Recent computer vision approaches are able to accurately analyze human faces, body postures and behaviors, and use these information to infer apparent personality traits. Because of the overwhelming research interest in this topic, and of the potential impact that this sort of methods could have in society, we present in this paper an up-to-date review of existing vision-based approaches for apparent personality trait recognition. We describe seminal and cutting edge works on the subject, discussing and comparing their distinctive features and limitations. Future venues of research in the field are identified and discussed. Furthermore, aspects on the subjectivity in data labeling/evaluation, as well as current datasets and challenges organized to push the research on the field are reviewed.

研究动机与目标

• 提供关于基于视觉的表面人格特质识别方法的全面、最新综述。
• 分析现有视觉数据人格感知计算方法的优势、局限性及独特特征。
• 识别数据标注、主观性与偏见方面的关键挑战，并评估当前公开数据集与竞赛。
• 探索未来研究方向，包括多模态融合、连续预测以及人格计算中的可解释人工智能。
• 通过突出整合先验知识与提升模型可解释性的机会，弥合心理学与机器学习之间的差距。

提出的方法

• 对基于视觉的表面人格特质识别方法进行系统性文献回顾，重点关注面部表情、身体姿势、手势及非语言行为。
• 按模态（仅视觉、多模态）、特征工程（手工设计特征 vs. 深度特征）和学习范式（监督学习、弱监督学习、端到端学习）对方法进行分类。
• 分析该领域所使用数据集的特征，包括其人口多样性、标注协议与评估协议。
• 使用报告的准确率、F1值与相关性度量，在不同大五人格特质（OCEAN）上评估性能。
• 研究卷积神经网络（CNNs）、循环神经网络（RNNs）与3D-CNNs等深度学习架构在视频序列中视觉线索时空建模中的应用。
• 调查数据收集过程中观察者偏见与主观标注的影响，及其对模型泛化与评估的影响。

实验结果

研究问题

• RQ1 在第一印象中，哪些视觉线索（面部、身体、手势）对表面人格特质最具预测性？
• RQ2 不同特征工程方法与学习模型在大五人格维度上的性能表现如何比较？
• RQ3 人类标注的主观性在多大程度上影响人格识别模型的可靠性与泛化能力？
• RQ4 当前数据集的主要局限性是什么？未来数据集应如何更好地反映多样化人群与真实世界场景？
• RQ5 如何利用深度学习模型提升多模态融合与第一印象分析中的端到端学习？

主要发现

• 性能在不同大五人格特质间差异显著，具体取决于数据集与特征集，其中尽责性（Conscientiousness）与开放性（Openness）的识别率较高。
• 手工设计特征与传统机器学习方法仍占主导地位，尽管卷积神经网络（CNNs）等深度学习模型在端到端视觉表征学习方面展现出良好前景。
• 人类标注的主观性与观察者偏见是主要挑战，严重影响数据质量与模型评估，尤其在第一印象情境中。
• 当前数据集在规模、多样性与现实感方面存在局限，且极少支持连续或动态人格预测。
• 多模态融合，特别是视觉与上下文线索的结合，具有提升性能的潜力，但在当前方法中仍研究不足。
• 亟需更大规模、公开可用的数据集与竞赛以加速研究进展，特别是在跨文化与包容性场景中。