[论文解读] Bridging Knowledge Graphs to Generate Scene Graphs

Alireza Zareian, Svebor Karaman+1 more|arXiv (Cornell University)|Jan 7, 2020

Multimodal Machine Learning Applications参考文献 56被引用 18

一句话总结

该论文提出GB-Net，一种基于图的神经网络，通过在视觉场景图与常识知识图之间建立桥梁，以提升场景图生成性能。通过在两个图之间迭代传递消息，并动态优化连接实例级实体与通用概念类别之间的‘桥梁’，GB-Net在平均召回率方面达到当前最优水平，mR@50为6.1%，mR@100为7.3%，在召回率与平衡性能方面显著优于先前方法。

ABSTRACT

Scene graphs are powerful representations that parse images into their abstract semantic elements, i.e., objects and their interactions, which facilitates visual comprehension and explainable reasoning. On the other hand, commonsense knowledge graphs are rich repositories that encode how the world is structured, and how general concepts interact. In this paper, we present a unified formulation of these two constructs, where a scene graph is seen as an image-conditioned instantiation of a commonsense knowledge graph. Based on this new perspective, we re-formulate scene graph generation as the inference of a bridge between the scene and commonsense graphs, where each entity or predicate instance in the scene graph has to be linked to its corresponding entity or predicate class in the commonsense graph. To this end, we propose a novel graph-based neural network that iteratively propagates information between the two graphs, as well as within each of them, while gradually refining their bridge in each iteration. Our Graph Bridging Network, GB-Net, successively infers edges and nodes, allowing to simultaneously exploit and refine the rich, heterogeneous structure of the interconnected scene and commonsense graphs. Through extensive experimentation, we showcase the superior accuracy of GB-Net compared to the most recent methods, resulting in a new state of the art. We publicly release the source code of our method.

研究动机与目标

• 为解决由于世界知识不足及对罕见谓词处理不佳，导致场景图生成（SGG）中泛化能力有限与召回率低的问题。
• 将场景图与常识知识图统一为两类知识图，实现视觉与符号化表示之间的结构化推理。
• 开发一种动态、迭代的消息传递机制，联合优化节点表示与视觉实例和概念类别之间的桥接边。
• 通过利用外部知识图中丰富的异构结构，提升零样本与少样本泛化能力。
• 通过以有原则的、图结构化的方式整合常识知识，在SGG基准上实现当前最优性能。

提出的方法

• GB-Net将场景图生成建模为视觉场景图与常识知识图之间的桥梁推理问题，其中每个实例节点通过可学习的桥接边连接到其对应的概念类别。
• 该模型在场景图内部、常识图内部以及跨桥接边之间执行迭代消息传递，每一步均对节点表示与桥接权重进行优化。
• 通过图神经网络层聚合邻居信息来更新节点与边特征，结合注意力机制以加权不同图类型对贡献的影响。
• 通过在每轮迭代中比较图间节点特征，动态优化桥接边，实现视觉实例与通用概念之间的对齐。
• 采用两阶段推理：首先初始化场景图中的潜在实体与谓词；随后通过链接到常识图中最相关的概念类别来完成分类。
• 引入一种类别平衡变体GB-Net-β，以减少对高频谓词的偏差，提升平均召回率而不损失整体召回率。

实验结果

研究问题

• RQ1 统一的图基框架能否有效整合视觉场景图与常识知识图，从而提升场景图生成性能？
• RQ2 在两个相互关联的图之间及内部进行的迭代消息传递，如何增强节点分类与谓词预测能力？
• RQ3 整合结构化常识知识在多大程度上能提升SGG中的零样本与少样本泛化能力？
• RQ4 桥接优化与消息传递深度对模型性能与收敛性有何影响？
• RQ5 一种能同时优化表示与图间桥接的图神经网络，是否能优于采用静态或启发式方式使用知识的方法？

主要发现

• 在Visual Genome SGGen基准上，GB-Net的平均召回率分别达到mR@50为6.1%，mR@100为7.3%，显著优于此前最先进方法（分别为5.5%与6.6%）。
• 类别平衡变体GB-Net-β在平均召回率上平均提升2.7个百分点，同时保持高整体召回率，证明其有效缓解了对高频谓词的偏差。
• 消融实验表明，若移除常识图，性能将下降至mR@50为5.5%，证实外部知识在提升泛化能力方面具有关键作用。
• 将消息传递迭代次数从3次减少至1次或2次，导致性能显著下降，表明迭代优化对模型有效性至关重要。
• 该方法在平均召回率方面显著优于FREQ、SMN与KERN等强基线模型，尤其在处理罕见与未见谓词类别方面表现更优。
• 模型在SGGen划分上的召回率达到67.0%（mR@100），即使在罕见类别监督有限的情况下，也展现出对全部预测三元组的强大性能。