[论文解读] Exploring the Semantics for Visual Relationship Detection.

Wentong Liao, Cuiling Lan+3 more|arXiv (Cornell University)|Apr 3, 2019

Multimodal Machine Learning Applications参考文献 31被引用 5

一句话总结

本文提出了一种新型框架——语义引导图关系神经网络（SGRN），通过利用源-目标类别认知转换来优化物体和关系特征，整合类别概率嵌入以提供语义上下文，并应用语义感知关系过滤器以缩小搜索空间，从而提升视觉关系检测性能。该方法在Visual Genome数据集上达到最先进水平，并将物体检测的mAP提升了4.2%。

ABSTRACT

Scene graph construction / visual relationship detection from an image aims to give a precise structural description of the objects (nodes) and their relationships (edges). The mutual promotion of object detection and relationship detection is important for enhancing their individual performance. In this work, we propose a new framework, called semantics guided graph relation neural network (SGRN), for effective visual relationship detection. First, to boost the object detection accuracy, we introduce a source-target class cognoscitive transformation that transforms the features of the co-occurent objects to the target object domain to refine the visual features. Similarly, source-target cognoscitive transformations are used to refine features of objects from features of relations, and vice versa. Second, to boost the relation detection accuracy, besides the visual features of the paired objects, we embed the class probability of the object and subject separately to provide high level semantic information. In addition, to reduce the search space of relationships, we design a semantics-aware relationship filter to exclude those object pairs that have no relation. We evaluate our approach on the Visual Genome dataset and it achieves the state-of-the-art performance for visual relationship detection. Additionally, Our approach also significantly improves the object detection performance (i.e. 4.2\% in mAP accuracy).

研究动机与目标

• 通过增强物体检测与关系检测之间的相互监督，提升视觉关系检测性能。
• 通过认知特征转换缓解物体与关系预测中噪声或模糊视觉特征的挑战。
• 通过过滤语义上不合理的物体对，减少潜在关系的搜索空间。
• 将高层次语义信息（类别概率）整合到关系预测中，以提升准确性。
• 在Visual Genome基准上实现最先进性能的同时，提升物体检测的准确性。

提出的方法

• 引入源-目标类别认知转换，通过将共现物体的知识迁移至目标物体领域，以优化物体特征。
• 对关系特征和物体特征应用相同的认知转换，实现双向特征增强。
• 将主体和客体的个体类别概率嵌入关系预测模块，以注入高层语义上下文。
• 设计语义感知关系过滤器，基于语义兼容性排除不太可能具有有效关系的物体对。
• 采用图神经网络架构建模物体之间的关系，结合增强特征与语义先验，以提升推理能力。
• 在Visual Genome数据集上端到端训练模型，联合优化物体检测与关系检测。

实验结果

研究问题

• RQ1 如何利用物体检测与关系检测之间的相互监督来同时提升两个任务的性能？
• RQ2 认知特征转换在多大程度上能增强物体与关系检测的视觉特征表示？
• RQ3 整合类别概率嵌入是否能提升关系预测的准确性？
• RQ4 语义感知过滤器在不损失召回率的前提下，对减少潜在关系搜索空间的效率如何？
• RQ5 所提出的框架是否在视觉关系检测上实现最先进性能，同时提升物体检测的准确性？

主要发现

• 所提出的SGRN框架在Visual Genome数据集上的视觉关系检测任务中达到最先进性能。
• 与基线模型相比，该模型将物体检测的mAP提升了4.2%，表明具有显著的相互增强效果。
• 类别概率嵌入的整合使关系预测更加准确且语义上更合理。
• 语义感知关系过滤器有效减少了候选关系数量，提升了推理效率与精度。
• 源-目标认知转换显著提升了特征质量，从而增强了物体与关系检测的准确性。
• 消融实验证实，每个组件——特征转换、语义嵌入与过滤——均对整体性能提升有显著贡献。