[论文解读] Attentive Relational Networks for Mapping Images to Scene Graphs

Mengshi Qi, Weijian Li+3 more|arXiv (Cornell University)|Nov 26, 2018

Multimodal Machine Learning Applications参考文献 51被引用 11

一句话总结

本文提出了一种注意力关系网络，通过整合视觉特征、语言嵌入和图自注意力机制，提升了图像到场景图的映射性能。该模型使用语义转换模块在共享空间中对齐视觉与文本特征，并利用图自注意力机制学习联合节点表征，在Visual Genome数据集上实现了最先进性能。

ABSTRACT

Scene graph generation refers to the task of automatically mapping an image into a semantic structural graph, which requires correctly labeling each extracted object and their interaction relationships. Despite the recent success in object detection using deep learning techniques, inferring complex contextual relationships and structured graph representations from visual data remains a challenging topic. In this study, we propose a novel Attentive Relational Network that consists of two key modules with an object detection backbone to approach this problem. The first module is a semantic transformation module utilized to capture semantic embedded relation features, by translating visual features and linguistic features into a common semantic space. The other module is a graph self-attention module introduced to embed a joint graph representation through assigning various importance weights to neighboring nodes. Finally, accurate scene graphs are produced by the relation inference module to recognize all entities and the corresponding relations. We evaluate our proposed method on the widely-adopted Visual Genome Dataset, and the results demonstrate the effectiveness and superiority of our model.

研究动机与目标

• 为通过建模复杂视觉关系来解决从图像生成准确、结构化场景图的挑战。
• 通过在共同语义空间中联合嵌入视觉特征与语言知识，改进场景图生成。
• 通过学习自适应、注意力加权的实体与关系图表示，捕捉全局场景结构。
• 克服先前方法依赖顺序处理或固定图结构的局限性。
• 通过建模三元组内依赖关系与上下文关系，提升关系预测的准确性。

提出的方法

• 语义转换模块使用学习的线性变换和对比损失函数，将视觉特征与词嵌入投影到共享语义空间。
• 图自注意力模块在相邻节点之间计算动态、上下文感知的注意力权重，以生成联合图表征。
• 该模型采用两阶段流程：首先，目标检测主干网络识别实体；其次，通过多层感知机（MLP）执行关系推理。
• 视觉与语言特征在语义空间中通过拼接方式进行融合，结合专用语义损失以保留语义亲和性。
• 图自注意力机制通过关注相关节点交互，实现全局场景结构的端到端学习。
• 该框架在Visual Genome数据集上进行端到端训练，结合检测损失、语义损失与关系预测损失。

实验结果

研究问题

• RQ1 如何在共享语义空间中有效对齐视觉与语言特征，以提升场景图生成性能？
• RQ2 与传统的RNN或CNN方法相比，图自注意力在联合表征学习方面能多大程度上提升性能？
• RQ3 统一的、基于注意力的图建模方法是否能优于分步或顺序处理方法，以捕捉复杂视觉关系？
• RQ4 融入语言知识在多大程度上增强模型解析模糊或罕见视觉关系的能力？
• RQ5 语义特征融合与损失函数对场景图生成整体性能的贡献是什么？

主要发现

• 所提模型在Visual Genome数据集上达到最先进性能，在节点与关系预测方面均超越现有SOTA方法。
• 消融实验表明，仅使用语义转换模块即优于无该模块的变体，证明其关键作用。
• 在语义空间中通过拼接进行特征融合，并结合语义损失，性能最佳，优于求和或逐元素相乘。
• PCA可视化证实，语义转换模块学习到了有意义的语义聚类，涵盖对象、谓词与主语，且相关三元组间呈现线性关系。
• 定性结果表明，该模型能正确预测复杂且模糊的关系，如'man-wearing-tie'与'elephant-has-leg'，即使真实标注不够精确。
• 失败案例主要源于目标检测错误或模糊的谓词，表明改进检测器可进一步提升性能。