[论文解读] Contextual Heterogeneous Graph Network for Human-Object Interaction Detection

Hai Wang, Wei‐Shi Zheng+1 more|arXiv (Cornell University)|Oct 20, 2020

Multimodal Machine Learning Applications参考文献 38被引用 8

一句话总结

该论文提出了一种上下文异构图网络（CHGN），将人类和物体作为不同的节点类型，以捕捉人类-物体交互（HOI）检测中的类内（同质）和类间（异质）消息传递。通过利用图注意力机制对上下文相关的消息进行加权，CHGN在V-COCO和HICO-DET数据集上实现了最先进性能，相较于之前的方法，mAP最高提升0.7个百分点，且在HICO-DET上相对增益达34%。

ABSTRACT

Human-object interaction(HOI) detection is an important task for understanding human activity. Graph structure is appropriate to denote the HOIs in the scene. Since there is an subordination between human and object---human play subjective role and object play objective role in HOI, the relations between homogeneous entities and heterogeneous entities in the scene should also not be equally the same. However, previous graph models regard human and object as the same kind of nodes and do not consider that the messages are not equally the same between different entities. In this work, we address such a problem for HOI task by proposing a heterogeneous graph network that models humans and objects as different kinds of nodes and incorporates intra-class messages between homogeneous nodes and inter-class messages between heterogeneous nodes. In addition, a graph attention mechanism based on the intra-class context and inter-class context is exploited to improve the learning. Extensive experiments on the benchmark datasets V-COCO and HICO-DET demonstrate that the intra-class and inter-class messages are very important in HOI detection and verify the effectiveness of our method.

研究动机与目标

• 解决先前基于图的HOI方法将人类和物体节点视为相同类型所带来的局限，忽略其作为主语与宾语的差异化角色。
• 认识到同质实体（如人物或物体之间）与异质实体（如人-物对）之间的消息对交互推理的重要性并不相同。
• 开发一种异质图神经网络，显式建模类内与类间上下文，以提升交互检测性能。
• 集成图注意力机制，基于类内与类间上下文动态加权邻居传递的消息。
• 通过基准数据集验证在复杂多交互场景中区分消息类型的有效性。

提出的方法

• 在异质图中将人类和物体表示为不同的节点类型，以支持差异化消息传递。
• 在相同类型的节点之间（如人-人、物-物）定义类内边，以编码相似性或上下文相关性。
• 在人类与物体节点之间定义类间边，以建模交互可能性与空间关系。
• 引入图注意力机制，基于类内与类间上下文特征计算注意力分数。
• 利用学习到的注意力权重聚合消息，以优化节点表示，提升交互预测性能。
• 使用交叉熵损失端到端训练模型，优化边界框定位与交互类别预测。

实验结果

研究问题

• RQ1 与同质图模型相比，在HOI检测中区分类内与类间消息是否能提升性能？
• RQ2 类内消息（如人物或物体之间的相似性）与类间消息（如交互可能性）在交互推理中分别起到何种不同作用？
• RQ3 同时考虑类内与类间上下文的图注意力机制，在复杂场景中在多大程度上增强了特征表示？
• RQ4 所提出的异质图模型是否能在多样化的交互类型（包括罕见与复杂交互）上实现良好泛化？
• RQ5 该模型是否能在标准HOI基准数据集（如V-COCO和HICO-DET）上超越现有最先进方法？

主要发现

• 所提出的CHGN模型在V-COCO数据集上达到52.7% mAP，相较于之前最先进方法（PMFNet）提升0.7个百分点。
• 在HICO-DET数据集的Default设置下，模型达到17.57% mAP，相较于GPNN基线实现34%的相对提升。
• 在HICO-DET的Known Object设置下，模型达到21.08% mAP，超越先前最先进方法（PMFNet）0.34个百分点。
• 消融实验表明，类内与类间消息学习均至关重要，其中类间消息对交互推理贡献显著。
• 可视化结果表明，模型能正确识别复杂场景中的多个交互，并准确区分交互与非交互配对。
• 图注意力机制能有效聚焦于相关邻居，提升在多人多物场景下的鲁棒性。