[论文解读] Dual ResGCN for Balanced Scene GraphGeneration

Jingyi Zhang, Yong Zhang+4 more|arXiv (Cornell University)|Nov 9, 2020

Multimodal Machine Learning Applications参考文献 45被引用 8

一句话总结

本文提出Dual ResGCN，一种用于平衡场景图生成的新型图神经网络，通过联合建模对象级和关系级上下文，利用两种互补的残差GCN显式解决类别不平衡问题。通过引入对象特征的交叉注意力机制和关系共现先验，显著提升了对罕见、语义丰富的谓词（如'parked on'或'walking in'）的预测性能，同时保持对常见谓词的高性能，在Visual Genome数据集上实现了最先进（SOTA）的平均召回率。

ABSTRACT

Visual scene graph generation is a challenging task. Previous works have achieved great progress, but most of them do not explicitly consider the class imbalance issue in scene graph generation. Models learned without considering the class imbalance tend to predict the majority classes, which leads to a good performance on trivial frequent predicates, but poor performance on informative infrequent predicates. However, predicates of minority classes often carry more semantic and precise information~( extit{e.g.}, \emph{`on'} v.s \emph{`parked on'}). % which leads to a good score of recall, but a poor score of mean recall. To alleviate the influence of the class imbalance, we propose a novel model, dubbed extit{dual ResGCN}, which consists of an object residual graph convolutional network and a relation residual graph convolutional network. The two networks are complementary to each other. The former captures object-level context information, extit{i.e.,} the connections among objects. We propose a novel ResGCN that enhances object features in a cross attention manner. Besides, we stack multiple contextual coefficients to alleviate the imbalance issue and enrich the prediction diversity. The latter is carefully designed to explicitly capture relation-level context information extit{i.e.,} the connections among relations. We propose to incorporate the prior about the co-occurrence of relation pairs into the graph to further help alleviate the class imbalance issue. Extensive evaluations of three tasks are performed on the large-scale database VG to demonstrate the superiority of the proposed method.

研究动机与目标

• 解决场景图生成中的类别不平衡问题，即模型倾向于预测频繁关系而低估具有信息量的罕见关系。
• 提升对'parked on'或'walking in'等语义丰富但罕见的谓词的预测性能，以实现对场景的细粒度理解。
• 在提升模型对关系预测的鲁棒性和多样性的同时，保持对频繁关系的高性能。
• 在图卷积过程中嵌入结构化和关系先验知识，而无需引入额外超参数。

提出的方法

• Dual ResGCN包含一个Object ResGCN，通过新颖的交叉注意力机制引导特征聚合，以建模对象级上下文。
• Object ResGCN通过堆叠多个上下文系数来丰富特征表示，缓解类别不平衡问题。
• 引入Relation ResGCN，将关系特征视为节点，聚合高阶、判别性特征，以建模关系级上下文。
• Relation ResGCN显式地将关系共现模式的先验知识融入图结构，以提升对罕见关系的预测性能。
• 两个分支相辅相成：Object ResGCN增强对象表征，而Relation ResGCN利用关系上下文优化关系预测。
• 模型使用标准交叉熵损失，无需OHEM，避免对超参数的敏感性，且优于基于成本敏感学习的基线方法。

实验结果

研究问题

• RQ1 联合建模对象级和关系级上下文是否能提升场景图生成中对罕见关系的性能？
• RQ2 引入关系对共现先验对罕见谓词预测有何影响？
• RQ3 具有交叉注意力和堆叠系数的双分支残差GCN架构是否优于单分支或非残差模型？
• RQ4 能否将先验知识嵌入图结构中，以减少类别不平衡的影响，且无需额外训练超参数？

主要发现

• 所提出的Dual ResGCN在Visual Genome数据集上达到SOTA性能，SGG任务的mR@100为21.5%，显著优于先前方法。
• 在PredCls基准上，模型达到R@100为68.2%和mR@100为21.5%，展现出强大的泛化能力和性能平衡性。
• 定性结果表明，Dual ResGCN成功预测了细粒度、罕见的关系（如'parked on'和'walking in'），而SOTA方法如VC-TREE未能检测到这些关系。
• 仅Relation ResGCN分支相比Object ResGCN将mR@100提升了1.5个百分点，证实了关系级上下文建模的价值。
• 模型优于基于OHEM的代价敏感学习方法，后者表现更差且对超参数高度敏感，验证了结构先验整合的有效性。
• 堆叠多个上下文系数（N=4）性能最佳，表明迭代式上下文优化有助于缓解类别分布不均的影响。