[论文解读] An End-to-End Network for Generating Social Relationship Graphs

Arushi Goel, Keng Teck+1 more|arXiv (Cornell University)|Mar 23, 2019

Multimodal Machine Learning Applications参考文献 27被引用 7

一句话总结

该论文提出了一种端到端可训练的神经网络SRG-GN，通过使用门控循环单元（GRUs）在消息传递过程中迭代更新节点（人）和边（关系）状态，从图像中生成结构化的社交关系图。该模型在社交关系识别任务上达到最先进性能，在PISC数据集上取得71.6%的mAP，证明了整合场景上下文、属性信息与循环消息传递的有效性。

ABSTRACT

Socially-intelligent agents are of growing interest in artificial intelligence. To this end, we need systems that can understand social relationships in diverse social contexts. Inferring the social context in a given visual scene not only involves recognizing objects, but also demands a more in-depth understanding of the relationships and attributes of the people involved. To achieve this, one computational approach for representing human relationships and attributes is to use an explicit knowledge graph, which allows for high-level reasoning. We introduce a novel end-to-end-trainable neural network that is capable of generating a Social Relationship Graph - a structured, unified representation of social relationships and attributes - from a given input image. Our Social Relationship Graph Generation Network (SRG-GN) is the first to use memory cells like Gated Recurrent Units (GRUs) to iteratively update the social relationship states in a graph using scene and attribute context. The neural network exploits the recurrent connections among the GRUs to implement message passing between nodes and edges in the graph, and results in significant improvement over previous methods for social relationship recognition.

研究动机与目标

• 通过知识图谱构建视觉场景中社交关系的结构化、可解释性表示。
• 解决从视觉输入推断高层社交语义（如家庭成员、朋友、同事）的挑战，该过程涉及超越目标检测的潜在社交线索。
• 通过统一的、可训练的图生成框架，整合场景上下文、人体属性与活动特征，提升社交关系识别性能。
• 展示在图神经网络中使用循环消息传递在视觉社交理解任务中的有效性。

提出的方法

• 该模型使用多分支卷积神经网络（MN-CNN）提取图像区域的视觉特征，包括人物属性与场景上下文。
• 采用两种门控循环单元（GRUs）：PPair GRUs用于基于属性特征建模节点（人）状态，Rship GRUs用于基于场景与活动特征建模边（关系）状态。
• 通过GRUs之间的循环连接实现消息传递，其中边状态通过相邻节点状态与邻近边状态联合更新，实现关系预测的迭代优化。
• 图推理网络（SRG-IN）通过在时间步上进行平均池化，聚合多轮消息传递的信息，提升模型的鲁棒性与准确性。
• 整个架构为端到端可训练，联合优化社交关系图生成（SRGGen）与社交关系识别（SRRec）。
• 模型将全局场景上下文作为关键输入，用于区分关系语义，如区分‘同事’与‘运动队成员’。

Figure 1: For a given scene, our network generates a structured representation – a Social Relationship Graph. Graph representations have shown good results on a variety of high-level vision tasks, e.g. image retrieval and visual Q&A.

实验结果

研究问题

• RQ1 深度学习模型能否直接从单张图像输入生成结构化、人类可解释的社交关系图？
• RQ2 与孤立的成对预测相比，整合场景上下文与属性特征在多大程度上提升了社交关系识别的准确性？
• RQ3 在图结构表示中，节点与边之间的循环消息传递在多大程度上增强了关系预测性能？
• RQ4 在社交理解任务中，图推理的最优消息传递时间步数与池化策略分别是什么？

主要发现

• 所提出的SRG-GN模型在PISC数据集上的社交关系识别任务中达到最先进水平的平均平均精度（mAP）71.6%，优于先前方法。
• 从模型中移除场景上下文后性能显著下降，mAP降至69.2%，凸显全局上下文对区分社交关系语义的关键作用。
• 消融实验表明，时间步上的平均池化（53.56%）优于最大池化（52.16%），表明信息聚合更有效。
• 当消息传递时间步数超过两个后，性能下降（平均池化下从53.56%降至52.08%），表明过多迭代会引入噪声。
• 仅使用MN-CNN模块的模型达到60.2% mAP，低于完整SRG-GN模型，证明图结构消息传递的价值。
• 定性分析表明，模型能利用邻近节点与边的上下文线索纠正误判，例如在孤立成对预测失败时仍能正确识别乐队成员。

Figure 2: SRG-GN: Our proposed end-to-end network for Social Relationship Graph generation. We take the single body images, $I_{1}$ and $I_{2}$ , and the “context image” (smallest image that contains both single-body images), $I_{c}$ as input to the SN1 and SN2 sub-modules of the MN-CNN module and f