[论文解读] Being the center of attention: A Person-Context CNN framework for Personality Recognition

Dario Dotti, Mirela Popa+1 more|arXiv (Cornell University)|Oct 15, 2019

Personality Traits and Psychology被引用 4

一句话总结

该论文提出了一种新颖的人员-上下文CNN框架，通过时空运动和亲密距离描述符联合建模个体行为与情境场景动态，实现鲁棒的多场景人格识别。通过在共享嵌入空间中融合个体级、群体级和亲密距离特征，该模型在两个公开数据集上超越了当前最先进方法，并通过类激活图揭示了与人格相关的的行为模式。

ABSTRACT

This paper proposes a novel study on personality recognition using video data from different scenarios. Our goal is to jointly model nonverbal behavioral cues with contextual information for a robust, multi-scenario, personality recognition system. Therefore, we build a novel multi-stream Convolutional Neural Network framework (CNN), which considers multiple sources of information. From a given scenario, we extract spatio-temporal motion descriptors from every individual in the scene, spatio-temporal motion descriptors encoding social group dynamics, and proxemics descriptors to encode the interaction with the surrounding context. All the proposed descriptors are mapped to the same feature space facilitating the overall learning effort. Experiments on two public datasets demonstrate the effectiveness of jointly modeling the mutual Person-Context information, outperforming the state-of-the art-results for personality recognition in two different scenarios. Lastly, we present CNN class activation maps for each personality trait, shedding light on behavioral patterns linked with personality attributes.

研究动机与目标

• 开发一种可泛化的多场景人格识别系统，以捕捉个体与情境的行为线索。
• 解决在自动人格评估中不同现实场景下行为模式不一致的挑战。
• 整合非语言行为线索与亲密距离（空间互动）及社会群体动态信息，以提升人格推断能力。
• 通过视频分析实现被动、非侵入式的人格识别，提升智能系统中的用户体验。
• 通过类激活图将学习到的CNN特征与心理学人格特质关联，实现可解释性。

提出的方法

• 该框架采用多流CNN架构，包含三个输入流：个体运动描述符（D_pers）、社会群体运动描述符（D_group）和亲密距离描述符（D_prox），用于编码与环境的空间关系。
• 时空运动描述符通过3D CNN从视频片段中提取，以捕捉个体和群体层面的动态人类行为。
• 亲密距离描述符基于人与人之间的距离和朝向计算，用于建模个体与其物理与社会环境的关系。
• 所有描述符通过共享嵌入层映射到共享特征空间，实现人员-上下文交互的联合学习。
• 最终分类通过在融合特征上使用Softmax层完成，类激活图用于解释每种子描述符类型对特定人格特质的贡献。
• 模型在两个公开数据集Salsa和MPII-IAD上端到端训练，使用交叉熵损失和标准数据增强技术。

实验结果

研究问题

• RQ1 联合建模个体行为与情境场景动态在多样化场景下如何提升人格识别性能？
• RQ2 亲密距离特征（代表与环境的空间互动）在非社交场景中对人格识别的贡献程度如何？
• RQ3 类激活图揭示的哪些行为模式最能预测特定的五大核心人格特质？
• RQ4 学习到的表征是否与人格的心理学理论一致，例如外向者倾向于主导社交互动？
• RQ5 该模型是否能在无需任务特定微调的情况下泛化到不同现实场景？

主要发现

• 所提出的Person-Context CNN框架在Salsa和MPII-IAD两个数据集上均达到最先进性能，证明了其在多场景人格识别中的卓越准确率。
• 联合建模人员与情境特征显著提升了性能，证实了情境信息在人格推断中的重要性。
• 类激活图显示，高外向性与个体特征的强烈激活及情境特征的微弱激活相关，表明在社交环境中具有主导性。
• 高宜人性和高责任心与个体和情境流的平衡激活相关，反映出合作与积极参与的社交行为。
• 低神经质和开放性与两个流中中等至高强度的激活相关，表明具有这些特质的个体更具社会参与性且反应性较低。
• 该模型即使在非社交场景中也能成功编码亲密距离特征，表明与物体的空间互动可反映人格特征，支持基于拟人化的解释。