[论文解读] LinkNet: Relational Embedding for Scene Graph

Sanghyun Woo, Dahun Kim+2 more|arXiv (Cornell University)|Nov 15, 2018

Multimodal Machine Learning Applications参考文献 28被引用 6

一句话总结

LinkNet 提出了一种关系嵌入模块，用于建模图像中所有物体实例之间的相互依赖关系，从而提升场景图生成性能，在 Visual Genome 基准上达到最先进水平。通过整合全局上下文和几何布局编码，该模型在孤立物体特征之外进一步提升了关系分类性能。

ABSTRACT

Objects and their relationships are critical contents for image understanding. A scene graph provides a structured description that captures these properties of an image. However, reasoning about the relationships between objects is very challenging and only a few recent works have attempted to solve the problem of generating a scene graph from an image. In this paper, we present a method that improves scene graph generation by explicitly modeling inter-dependency among the entire object instances. We design a simple and effective relational embedding module that enables our model to jointly represent connections among all related objects, rather than focus on an object in isolation. Our method significantly benefits the main part of the scene graph generation task: relationship classification. Using it on top of a basic Faster R-CNN, our model achieves state-of-the-art results on the Visual Genome benchmark. We further push the performance by introducing global context encoding module and geometrical layout encoding module. We validate our final model, LinkNet, through extensive ablation studies, demonstrating its efficacy in scene graph generation.

研究动机与目标

• 通过显式建模所有物体实例之间的依赖关系，而非将其孤立处理，以提升场景图生成性能。
• 通过可学习的关系嵌入模块捕获物体对之间的联合交互，提升关系分类的准确性。
• 整合全局上下文和几何布局线索，进一步提升场景图生成性能。
• 通过在 Visual Genome 数据集上进行广泛的消融实验，验证各组件的有效性。

提出的方法

• 关系嵌入模块通过物体特征计算所有物体对之间的注意力类似权重，实现对物体间依赖关系的联合表征。
• 该模块使用可学习的权重矩阵生成软邻接矩阵，反映物体实例之间关系的可能性。
• 通过全局平均池化和多标签分类头实现全局上下文编码，以捕捉图像中各类物体的存在情况。
• 几何布局编码利用物体之间的相对空间坐标（如 x, y, w, h）提供空间归纳偏置，以辅助关系预测。
• 模型基于 Faster R-CNN 构建，用于物体检测，并使用 ROI-align 提取固定尺寸的特征，用于关系计算。
• 最终架构 LinkNet 将所有模块端到端结合，并通过检测、分类和关系预测的多任务损失进行端到端训练。

实验结果

研究问题

• RQ1 建模所有物体实例之间的相互依赖关系是否能提升场景图生成性能？
• RQ2 可学习的关系嵌入模块在无外部知识的情况下，是否能有效捕捉复杂关系？
• RQ3 全局上下文和几何布局编码在多大程度上提升了关系分类性能？
• RQ4 不同操作（如 softmax 与 sigmoid）和关系计算方法（点积与欧氏距离）对性能有何影响？

主要发现

• LinkNet 在 Visual Genome 基准上达到最先进性能，在节点和边预测任务中均优于先前方法。
• 仅使用关系嵌入模块即可将性能提升至最先进水平，证明其在建模物体间依赖关系中的关键作用。
• 几何布局编码模块显著提升了对空间正则化谓词（如 'using'、'carrying' 和 'riding'）的召回率。
• 关系嵌入矩阵中采用行方向的 softmax 操作优于 sigmoid，表明注意力式的竞争机制有助于提升关系表征质量。
• 点积关系计算方法略优于欧氏距离，但两者在引入附加模块后均表现更优，显示出良好的鲁棒性。
• 关系嵌入矩阵的可视化结果表明，即使在标注稀疏的情况下，模型也能准确学习到真实关系的表征。