[论文解读] Multi-Granularity Reasoning for Social Relation Recognition from Images

Meng Zhang, Xinchen Liu+4 more|arXiv (Cornell University)|Jan 10, 2019

Human Pose and Action Recognition参考文献 28被引用 4

一句话总结

该论文提出了一种用于图像中社交关系识别的多粒度推理（MGR）框架，通过整合全局场景特征、中级的人-物区域表征以及细粒度的姿态引导图，弥合视觉-社交领域之间的差距。通过利用姿态感知的人-物图与人-姿态图，并结合图卷积网络（GCNs），MGR在两个公开数据集上实现了最先进性能，展示了在各类关系类型中均具备更高准确率与鲁棒性。

ABSTRACT

Discovering social relations in images can make machines better interpret the behavior of human beings. However, automatically recognizing social relations in images is a challenging task due to the significant gap between the domains of visual content and social relation. Existing studies separately process various features such as faces expressions, body appearance, and contextual objects, thus they cannot comprehensively capture the multi-granularity semantics, such as scenes, regional cues of persons, and interactions among persons and objects. To bridge the domain gap, we propose a Multi-Granularity Reasoning framework for social relation recognition from images. The global knowledge and mid-level details are learned from the whole scene and the regions of persons and objects, respectively. Most importantly, we explore the fine-granularity pose keypoints of persons to discover the interactions among persons and objects. Specifically, the pose-guided Person-Object Graph and Person-Pose Graph are proposed to model the actions from persons to object and the interactions between paired persons, respectively. Based on the graphs, social relation reasoning is performed by graph convolutional networks. Finally, the global features and reasoned knowledge are integrated as a comprehensive representation for social relation recognition. Extensive experiments on two public datasets show the effectiveness of the proposed framework.

研究动机与目标

• 解决图像中视觉特征与语义社交关系之间存在的显著领域差距。
• 克服现有方法仅依赖单一粒度表征（如外观或共现关系）的局限性。
• 通过整合多粒度线索（全局场景、区域人-物特征与细粒度交互）提升识别准确率。
• 利用姿态引导图结构建模人-物动作与人际交互，实现更丰富的关系推理。
• 在各类关系类型中实现统一且优越的性能表现，包括模糊或低资源关系。

提出的方法

• 使用深度卷积神经网络（如ResNet）从整幅图像中提取全局场景级特征。
• 应用目标检测器定位人物与物体，随后通过CNN提取中等级视觉特征，构建区域表征。
• 提取人体姿态关节点，以指导构建两种新型图结构：人-物图（POG）与人-姿态图（PPG）。
• 基于空间位置与姿态对齐的交互线索，将人物与物体连接，构建POG，以建模人物对物体的动作。
• 利用关节点连接成对人物，构建PPG，以捕捉人际交互。
• 通过消息传递机制在两种图上使用图卷积网络（GCNs）进行关系推理，以优化表征。

实验结果

研究问题

• RQ1 多粒度视觉表征（全局、区域与细粒度）是否能超越单一层次特征，提升社交关系识别性能？
• RQ2 姿态引导图建模在捕捉有意义的人-物与人际交互方面效果如何，对关系推理有何贡献？
• RQ3 来自全局场景、区域线索与交互图的互补特征在各类关系类型中对识别性能的提升程度如何？
• RQ4 整合多粒度表征是否能带来更均匀且鲁棒的性能表现，特别是在模糊或罕见关系上？
• RQ5 基于图的推理结合GCNs是否能有效弥合视觉输入与语义社交关系之间的领域差距？

主要发现

• MGR框架在PISA与PIPA两个数据集上均达到最先进性能，整体准确率超越现有方法。
• 完整MGR框架（包含全局特征、POG、PPG与晚期融合模块）表现最佳，证实多粒度特征具有互补优势。
• 加入姿态引导的POG显著优于无姿态引导的POG，验证了动作感知建模在关系识别中的重要性。
• PPG模块显著提升了对人际交互关系的推理能力，尤其在亲密关系（如朋友、家人、情侣）上表现突出。
• 全局特征在非亲密关系（如职业、商业关系）中更具优势，表明场景级线索对这些类别更为相关。
• 该方法在所有关系类型中均表现出均匀性能，而注意力机制模型可能受无关上下文物体干扰。