[论文解读] GPS-Net: Graph Property Sensing Network for Scene Graph Generation

Xin Lin, Changxing Ding+2 more|arXiv (Cornell University)|Mar 29, 2020

Multimodal Machine Learning Applications参考文献 41被引用 9

一句话总结

GPS-Net 提出了一种新颖的图属性感知网络（Graph Property Sensing Network）用于场景图生成，显式建模边的方向、节点优先级以及长尾关系分布。该方法引入了方向感知的消息传递模块、节点优先级敏感的损失函数以及自适应关系先验机制，在 VG、OI 和 VRD 基准上实现了最先进性能，召回率和准确率指标均有显著提升。

ABSTRACT

Scene graph generation (SGG) aims to detect objects in an image along with their pairwise relationships. There are three key properties of scene graph that have been underexplored in recent works: namely, the edge direction information, the difference in priority between nodes, and the long-tailed distribution of relationships. Accordingly, in this paper, we propose a Graph Property Sensing Network (GPS-Net) that fully explores these three properties for SGG. First, we propose a novel message passing module that augments the node feature with node-specific contextual information and encodes the edge direction information via a tri-linear model. Second, we introduce a node priority sensitive loss to reflect the difference in priority between nodes during training. This is achieved by designing a mapping function that adjusts the focusing parameter in the focal loss. Third, since the frequency of relationships is affected by the long-tailed distribution problem, we mitigate this issue by first softening the distribution and then enabling it to be adjusted for each subject-object pair according to their visual appearance. Systematic experiments demonstrate the effectiveness of the proposed techniques. Moreover, GPS-Net achieves state-of-the-art performance on three popular databases: VG, OI, and VRD by significant gains under various settings and metrics. The code and models are available at \url{https://github.com/taksau/GPS-Net}.

研究动机与目标

• 解决场景图中尚未被充分探索的属性：边的方向、节点优先级以及长尾关系分布。
• 通过在统一的深度学习框架中显式建模这三个属性，提升场景图生成（SGG）性能。
• 通过自适应频率先验调整，缓解 SGG 中的类别不平衡问题，特别是低频关系的负面影响。
• 设计可微分、高效且有效的模块，可无缝集成到现有 SGG 流水线中。

提出的方法

• 提出一种基于 Tucker 分解的三线性模型方向感知消息传递（Direction-Aware Message Passing, DMP）模块，用于编码边的方向并生成与节点相关的上下文特征。
• 采用 Transformer 层对 DMP 模块获得的上下文信息进行精炼，以提升特征表示能力。
• 提出一种节点优先级敏感损失（Node Priority-Sensitive Loss, NPS-loss），根据每个节点在三元组中的频率动态调整焦点损失的聚焦参数，训练过程中优先关注高影响力节点。
• 使用 log-softmax 函数软化长尾关系分布，并引入基于注意力的机制，根据视觉外观自适应调整每对主语-对象的关系先验。
• 在 DMP 中使用堆叠操作，以在消息传递过程中考虑边方向的不确定性，提升模型鲁棒性。
• 采用可微分且凸的损失函数，支持端到端的梯度下降训练，不同于以往不可微分的方法。

实验结果

研究问题

• RQ1 如何有效编码场景图中的边方向，以改善节点表征和关系预测？
• RQ2 通过可学习的损失函数建模节点优先级，能在多大程度上提升在长尾 SGG 基准上的性能？
• RQ3 通过软化并自适应调整关系频率分布，能否缓解 SGG 中长尾数据带来的负面影响？
• RQ4 所提出的模块（DMP、NPS-loss、ARM）在标准 SGG 基准上，各自及协同作用下对性能提升的贡献如何？

主要发现

• GPS-Net 在 Visual Genome (VG)、Open Images (OI) 和 Visual Relationship Detection (VRD) 数据集上均达到最先进性能，优于包括 VCTREE 和 CMAT 在内的先前方法。
• 在 VG 上，GPS-Net 相较于 RelDN，SGCLS Recall@100 提升 5.5%，在三种评估协议下的平均得分提升 2.5%。
• 在 OpenImages 上，GPS-Net 相较于 RelDN，加权得分提升 2.4%，在罕见类别 'wears' 上的 APrel 差距达 24.5%，'hits' 类别差距为 20.6%。
• 消融实验表明，DMP、NPS-loss 和 ARM 三个组件均贡献显著，其中 DMP 表现优于 GCMP 和 S-GCMP，且 NPS-loss 在 μ=4 时性能最佳。
• NPS-loss 通过基于频率调整聚焦参数的方式显式建模节点优先级，优于标准焦点损失。
• DMP 中的堆叠操作在各项指标上均一致提升性能，验证了其在处理边方向不确定性中的关键作用。