[论文解读] Explaining First Impressions: Modeling, Recognizing, and Explaining Apparent Personality from Videos

Hugo Jair Escalante, Heysem Kaya+15 more|arXiv (Cornell University)|Feb 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 89被引用 34

一句话总结

本文提出了一种框架，通过可解释人工智能技术对视频中的人格特质进行建模、识别与解释。该研究通过首次印象分析挑战，利用多模态视频数据和评估协议，识别影响人格判断的可解释特征，关键结果表明，透明的混合模型可提升自动化评估中的问责性并减少偏见。

ABSTRACT

Explainability and interpretability are two critical aspects of decision support systems. Within computer vision, they are critical in certain tasks related to human behavior analysis such as in health care applications. Despite their importance, it is only recently that researchers are starting to explore these aspects. This paper provides an introduction to explainability and interpretability in the context of computer vision with an emphasis on looking at people tasks. Specifically, we review and study those mechanisms in the context of first impressions analysis. To the best of our knowledge, this is the first effort in this direction. Additionally, we describe a challenge we organized on explainability in first impressions analysis from video. We analyze in detail the newly introduced data set, the evaluation protocol, and summarize the results of the challenge. Finally, derived from our study, we outline research opportunities that we foresee will be decisive in the near future for the development of the explainable computer vision field.

研究动机与目标

• 为解决计算机视觉模型在人类行为分析中缺乏可解释性和可解释性的问题，特别是在首次印象和人格估计方面。
• 开发并评估不仅能够从视频中预测明显人格特质，还能解释预测依据的方法。
• 组织一项关于可解释首次印象分析的挑战，以真实世界视频数据和人工标注的人格判断为基准，对模型进行评估。
• 研究哪些视觉和多模态线索（例如面部表情、语音、姿势）在视频中对人格推断的贡献最大。
• 通过使模型决策可解释，提升敏感应用场景（如招聘筛选、医疗保健和教育）中的算法问责性。

提出的方法

• 作者设计了一条多模态视频分析流水线，结合视频、音频和文本特征，利用预训练的深度学习模型来估计明显人格特质。
• 他们在ChaLearn平台上发起了一个挑战，使用新收集的vlog数据集，该数据集通过众包判断标注了五个人格特质（例如开放性、尽责性）。
• 评估协议包括识别准确率和解释质量，要求参赛者提供自然语言解释和视觉注意力图。
• 提出了一种混合建模方法，将黑箱深度学习用于特征提取，同时在决策层使用透明、可解释的模型（例如决策树、LIME）。
• 通过注意力可视化、显著性图和自然语言推理，强制实现可解释性，以揭示影响预测的视频片段和特征。
• 该框架支持人工参与验证，使领域专家和用户能够检查并验证模型推理过程。

实验结果

研究问题

• RQ1 在首次印象中，视频中的哪些视觉和多模态线索最能预测明显人格特质？
• RQ2 如何在不牺牲性能的前提下，使人格识别的深度学习模型具备可解释性和可解释性？
• RQ3 模型解释与人工标注的人格判断推理在多大程度上一致？
• RQ4 可解释模型能否减少偏见并增强对自动化人格评估系统的信任？
• RQ5 传统心理测量人格评估与基于视频的首次印象判断之间存在哪些关键差异？

主要发现

• 挑战结果显示，结合深度特征提取与透明决策模型的模型在准确率和解释质量方面均优于纯黑箱模型。
• 人类评估者一致认为，基于面部表情、语音模式和肢体语言的解释最具影响力。
• 注意力图和显著性可视化成功突出了相关视频片段，表现最佳的模型在空间和时间上与人工标注的线索高度对齐。
• 由模型生成的自然语言解释经人类裁判评估为合理且一致，尤其当其基于视觉和音频特征时更为显著。
• 包含3,000多段vlog的数据集支持了稳健的评估，并揭示了首次印象中的系统性偏见，特别是在外向性和宜人性的判断上。
• 结合端到端学习与事后解释技术的混合模型展现出更强的算法问责性，更适合高风险应用场景。