[论文解读] Learning Social Relation Traits from Face Images

Zhanpeng Zhang, Ping Luo+2 more|arXiv (Cornell University)|Sep 14, 2015

Face recognition and analysis参考文献 39被引用 27

一句话总结

本文提出一种带有桥接层的深度孪生网络模型，通过异质数据集学习丰富的面部表征，以从面部图像中预测细微的社会关系特质（如友好、主导、温暖等）。通过融合缺失标签的数据并利用跨数据集的对应关系，该方法在属性识别与关系预测任务上达到最先进性能，展示了其在视频与图像分析应用中的有效性。

ABSTRACT

Social relation defines the association, e.g, warm, friendliness, and dominance, between two or more people. Motivated by psychological studies, we investigate if such fine-grained and high-level relation traits can be characterised and quantified from face images in the wild. To address this challenging problem we propose a deep model that learns a rich face representation to capture gender, expression, head pose, and age-related attributes, and then performs pairwise-face reasoning for relation prediction. To learn from heterogeneous attribute sources, we formulate a new network architecture with a bridging layer to leverage the inherent correspondences among these datasets. It can also cope with missing target attribute labels. Extensive experiments show that our approach is effective for fine-grained social relation learning in images and videos.

研究动机与目标

• 探究是否能从面部图像中自动识别出友好、主导、温暖等高层社会关系特质。
• 解决在标注覆盖度与数据分布差异较大的异质面部属性数据集上进行训练的挑战。
• 开发一种统一的深度神经网络架构，通过利用面部部件外观中的隐式对应关系，实现对多个数据集的桥接。
• 实现成对面部推理以支持社会关系预测，突破单图分析的局限。
• 构建一个基于心理学研究标注的社会关系特质的新数据集，以支持未来高层面部理解研究。

提出的方法

• 设计一种类似孪生网络的深度神经网络架构，联合处理成对的面部图像，实现相互上下文学习，以支持关系推理。
• 引入桥接层，通过建模面部部件外观中的弱对应关系，实现异质数据集之间的特征对齐。
• 采用多任务学习方式端到端训练模型，每个任务对应一个面部属性（如性别、表情、姿态、年龄），桥接层在标签缺失的情况下仍能促进知识迁移。
• 桥接层可作为网络的输入或输出，实验表明作为输入时性能更优。
• 该框架支持整合额外线索（如相对面部位置），超越原始图像特征。
• 构建了一个新数据集，基于心理学研究对成对关系特质进行标注，支持高层社会关系推理的评估。

实验结果

研究问题

• RQ1 仅从面部图像是否能可靠预测友好、主导、温暖等细微的高层社会关系特质？
• RQ2 深度模型如何有效学习来自标注覆盖度与数据分布各异的异质面部属性数据集？
• RQ3 桥接层在标签缺失或部分缺失的数据集中，能在多大程度上提升特征对齐与识别性能？
• RQ4 与单图分析相比，成对面部推理是否能显著提升社会关系预测性能？
• RQ5 该模型在真实世界视频与图像集合（如电影或社交媒体）中的泛化能力如何？

主要发现

• 当桥接层作为输入时，该方法在性别识别任务上达到92.8%的平衡准确率，在头部姿态识别任务上达到95.4%，优于基线模型。
• 在具有挑战性的Kaggle面部表情数据集上，模型准确率达到75.10%，超过先前最先进结果（71.2%）。
• 桥接层成功根据视觉模式将来自不同数据集的面部样本聚类为连贯的簇，证明了跨数据集特征对齐的有效性。
• 该模型在关系预测任务上表现优异，能准确捕捉《钢铁侠》视频片段中“友好”与“竞争”等动态特质，其概率变化与情绪变化高度对应。
• 消融实验表明，桥接层显著提升了表情与姿态识别的性能，尤其在标签缺失时效果更明显。
• 该方法在真实世界应用中泛化良好，例如通过帧间平滑预测，实现对电影中角色关系的建模，并能检测细微的社会动态。