[论文解读] Iterative Scene Graph Generation

Siddhesh Khandelwal, Leonid Sigal|arXiv (Cornell University)|Jul 27, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出一种基于迭代的场景图生成框架，通过马尔可夫随机场中的消息传递机制对场景图进行迭代优化，利用端到端可训练的Transformer架构实现对主体、宾语和谓词的联合推理。该方法通过联合优化对象和谓词预测，在Visual Genome和Action Genome基准上实现性能提升，相比之前的方法，R@50最高提升2.3，hR@50最高提升1.6。

ABSTRACT

The task of scene graph generation entails identifying object entities and their corresponding interaction predicates in a given image (or video). Due to the combinatorially large solution space, existing approaches to scene graph generation assume certain factorization of the joint distribution to make the estimation feasible (e.g., assuming that objects are conditionally independent of predicate predictions). However, this fixed factorization is not ideal under all scenarios (e.g., for images where an object entailed in interaction is small and not discernible on its own). In this work, we propose a novel framework for scene graph generation that addresses this limitation, as well as introduces dynamic conditioning on the image, using message passing in a Markov Random Field. This is implemented as an iterative refinement procedure wherein each modification is conditioned on the graph generated in the previous iteration. This conditioning across refinement steps allows joint reasoning over entities and relations. This framework is realized via a novel and end-to-end trainable transformer-based architecture. In addition, the proposed framework can improve existing approach performance. Through extensive experiments on Visual Genome and Action Genome benchmark datasets we show improved performance on the scene graph generation.

研究动机与目标

• 为解决现有场景图生成方法中固定因子分解的局限性，这些方法假设对象与谓词之间条件独立。
• 通过在每轮优化中动态依赖先前的图估计，实现对主体、宾语和谓词的联合推理。
• 克服对象检测器带来的误差传播问题，提升对罕见或难以检测谓词的性能。
• 设计一种端到端可训练的架构，通过迭代优化避免对象对之间配对的二次复杂度。
• 通过新颖的损失加权方案与数据采样策略的结合，提升头部、中段和尾部谓词类别的召回率。

提出的方法

• 该框架采用迭代优化过程，每一步均基于前一轮的图估计进行条件化，通过展开马尔可夫随机场中的消息传递，实现联合推理。
• 提出一种新型的Transformer架构，采用三个同步的多层解码器分别处理主体、宾语和谓词，且解码器之间共享注意力机制，以支持跨组件推理。
• 显式设计联合损失函数，以促进迭代过程中的一致性与优化，采用动态加权策略以平衡头部、中段和尾部类别的性能。
• 模型初始化为基于标准两阶段检测的图估计，随后通过多轮迭代消息传递进行优化。
• 该方法支持使用二部图网络（BGNN）进行微调，进一步提升性能，尤其在长尾谓词上表现更优。
• 通过逐步优化关系而非一次性评估所有可能的主体-宾语对，避免了配对的二次复杂度。

实验结果

研究问题

• RQ1 通过动态条件化的迭代优化能否提升场景图生成中主体、宾语和谓词的联合推理能力？
• RQ2 将固定因子分解替换为马尔可夫随机场中的迭代消息传递，是否能提升对长尾及难以检测谓词的性能？
• RQ3 统一的Transformer架构能否在保持效率与可扩展性的同时，联合优化主体、宾语和谓词的预测？
• RQ4 与标准采样策略相比，所提出的损失加权方案如何影响头部、中段和尾部谓词类别的召回率？
• RQ5 该迭代框架在多大程度上可与现有数据采样技术（如top-k预测）结合，以进一步提升性能？

主要发现

• 在Visual Genome数据集上，该方法实现了20.2@50和24.1@100的平均召回率，相比基线SGTR+BGNN，mR@50提升1.3，hR@50提升1.6。
• 在每个主体-宾语对上预测top-3谓词时，模型在召回率上达到30.8@50和35.6@100，分别超越基线SGTR 6.2和9.6个百分点。
• 与基线相比，该模型在头部类别上提升1.6点谐波召回率，在尾部类别上也提升1.6点，表明在不同类别频率下具有更好的泛化能力。
• BGNN微调的引入使mR@50提升1.3点，证明损失加权方案在增强长尾性能方面的有效性。
• 定性结果表明，随着优化轮次推进，图质量持续提升，后期阶段的错误预测常在后续迭代中被纠正。
• 该方法在Visual Genome和Action Genome两个基准上均达到最先进性能，展现出在多样化场景理解任务中的鲁棒性。