[论文解读] Knowledge-Embedded Routing Network for Scene Graph Generation

Tianshui Chen, Weihao Yu+2 more|arXiv (Cornell University)|Mar 8, 2019

Multimodal Machine Learning Applications参考文献 33被引用 45

一句话总结

论文提出 Knowledge-Embedded Routing Network (KERN)，在结构化图中显式编码统计对象对及关系知识，以正则化场景图预测，相比之前的方法在视觉基因组上尤其是对于罕见关系具有更强的表现。

ABSTRACT

To understand a scene in depth not only involves locating/recognizing individual objects, but also requires to infer the relationships and interactions among them. However, since the distribution of real-world relationships is seriously unbalanced, existing methods perform quite poorly for the less frequent relationships. In this work, we find that the statistical correlations between object pairs and their relationships can effectively regularize semantic space and make prediction less ambiguous, and thus well address the unbalanced distribution issue. To achieve this, we incorporate these statistical correlations into deep neural networks to facilitate scene graph generation by developing a Knowledge-Embedded Routing Network. More specifically, we show that the statistical correlations between objects appearing in images and their relationships, can be explicitly represented by a structured knowledge graph, and a routing mechanism is learned to propagate messages through the graph to explore their interactions. Extensive experiments on the large-scale Visual Genome dataset demonstrate the superiority of the proposed method over current state-of-the-art competitors.

研究动机与目标

• 通过利用对象共现及其关系的先验统计知识来解决场景图生成中的长尾问题。
• 将统计相关性表示为结构化图并将其集成到图神经网络中，以调控关系预测的语义空间。
• 用专用的路由网络建模对象与关系之间的相互作用，以提高在 SGGen、SGCls 和 PredCls 任务上的预测精度。
• 在 Visual Genome 数据集上进行评估并与最先进方法进行比较，突出在 mean recall (mR@K) 和 recall (R@K) 的提升。

提出的方法

• 使用 Faster R-CNN 检测对象区域以获取候选框和特征。
• 使用对象共现统计构建区域图，通过带门控更新的图神经网络学习上下文化的对象标签。
• 对于每一对对象，构建一个包含 K 个关系节点的关系图，表示共现概率，并传播信息以预测关系。
• 使用第二个图神经网络建模对象对与潜在关系之间的相互作用并输出最终的关系标签。
• 将先验统计量 m_cc', m_cc'k 嵌入到图中以显式正则化语义空间，并使用 mR@K 和 R@K 作为互补指标进行评估。

实验结果

研究问题

• RQ1 显式、基于统计的知识图是否能够正则化语义空间，改进关系预测，尤其是对较不常见的关系？
• RQ2 将 knowledge-embedded routing 与图传播结合是否在 Visual Genome 的 SGGen、SGCls 和 PredCls 上超越先前的场景图生成方法？
• RQ3 知识图组件对整体性能以及对长尾分布鲁棒性的影响是什么？
• RQ4 mR@K 和 R@K 指标如何反映对常见与罕见关系的改进？

主要发现

• 提出的 KERN 框架在 mR@K 分数上优于先前方法，平均 mR@50/100 从 9.0%（SMN）提升到 11.7%（KERN），在消融实验中平均 mR@50/100 进一步提升。
• 在 R@K 指标方面，KERN 实现了最先进的平均召回率，例如在受限设置下平均 R@50/100 为 44.1%/55.4%，超越 SMN 的微小优势。
• 消融研究表明用均匀分布替代统计相关性会降低性能（平均 mR 从 11.7% 降至 7.9%；平均 R 从 44.1% 降至 40.6%），证实了显式知识整合的重要性。
• KERN 在罕见/较少见的关系上显示出更大的增益，解决了 Visual Genome 固有的长尾分布问题。