[论文解读] Graph R-CNN for Scene Graph Generation

Jianwei Yang, Jiasen Lu+3 more|arXiv (Cornell University)|Aug 1, 2018

Multimodal Machine Learning Applications参考文献 34被引用 10

一句话总结

本文提出 Graph R-CNN，一种新颖的场景图生成模型，采用关系提议网络（RePN）智能地过滤掉不太可能的物体关系，并利用注意力图卷积网络（aGCN）在场景图中传播上下文信息。该方法在 Visual Genome 数据集上实现了 SOTA 性能，Recall@50 提升了 5.0 的绝对值，并提出了一种新的整体性评估指标 SGGen+，显著提升了场景图评估的现实性和鲁棒性。

ABSTRACT

We propose a novel scene graph generation model called Graph R-CNN, that is both effective and efficient at detecting objects and their relations in images. Our model contains a Relation Proposal Network (RePN) that efficiently deals with the quadratic number of potential relations between objects in an image. We also propose an attentional Graph Convolutional Network (aGCN) that effectively captures contextual information between objects and relations. Finally, we introduce a new evaluation metric that is more holistic and realistic than existing metrics. We report state-of-the-art performance on scene graph generation as evaluated using both existing and our proposed metrics.

研究动机与目标

• 为解决现有场景图生成方法因考虑所有可能的物体对作为潜在关系而造成的计算效率低下与准确性不足问题，导致复杂度达到二次方。
• 通过学习优先考虑高概率关系而非依赖随机或启发式过滤，来建模真实世界中物体-关系的规律性。
• 利用图卷积网络中的可学习注意力机制，提升场景图中物体与关系之间的上下文信息整合能力。
• 提出一种更真实、更全面的评估指标 SGGen+，综合考虑物体、属性和三元组级别的召回率，降低对微小检测误差的过度惩罚。

提出的方法

• 该模型使用标准的物体检测流程，提取局部物体区域作为初始场景图中的节点。
• 关系提议网络（RePN）计算物体对之间的相关性得分，以过滤掉不合理的关联，将图缩减为稀疏的候选结构。
• 注意力图卷积网络（aGCN）在过滤后的图上传播上下文信息，通过在边上学习注意力权重来更新节点和边的表示。
• aGCN 模块预测每条边的注意力权重，实现对信息流的动态调制，提升对噪声或不可靠边的鲁棒性。
• 模型采用端到端训练，损失函数结合了物体检测、关系分类和三元组预测的多任务损失。
• 提出一种新的评估指标 SGGen+，在单体实体（物体、谓词）、成对条目（物体-属性）和三元组（主语-谓词-宾语）层面计算召回率，提供更全面的评估。

实验结果

研究问题

• RQ1 通过学习的、结构化的剪枝机制（RePN）是否能有效降低场景图生成的计算负担，同时保持对真实关系的高召回率？
• RQ2 基于注意力的图卷积网络（aGCN）在建模场景图中更高阶的上下文依赖关系方面，能在多大程度上提升关系预测性能？
• RQ3 与现有基于三元组的评估指标相比，所提出的 SGGen+ 指标是否能提供更真实、更鲁棒的场景图生成性能评估？
• RQ4 Graph R-CNN 中的各个组件——RePN 与 aGCN——在整体性能提升（包括准确率与效率）中分别起到了何种贡献？
• RQ5 该模型是否能超越共现统计规律，捕捉图像特定的上下文关系，而非仅依赖频率偏差？

主要发现

• 与之前 SOTA 方法相比，Graph R-CNN 在 Visual Genome 数据集上的 Recall@50 提升了 5.0 的绝对值，显著提升了性能。
• RePN 组件平均将物体检测 mAP@0.5 提升了 3.2 个百分点，尤其在小尺寸且关系丰富的物体（如 'racket' 和 'windshield'）上提升最为显著。
• 在消融实验中，添加 aGCN 模块使 SGGen+ Recall@50 从 35.3 提升至 35.9，从 10.8 提升至 11.4，表明其在上下文整合方面的有效性。
• aGCN 中的注意力机制进一步提升了性能，超过标准 GCN，表明动态边注意力在过滤不可靠信息流方面至关重要。
• Graph R-CNN 比现有模型更高效：推理速度比 MSDN 快 1.86 倍，比 IMP 快 3.27 倍，归因于其简化但高效的架构。
• 所提出的 SGGen+ 指标表明，该模型不仅在标准指标上优于现有方法，且在更全面、更现实的评估设置中表现更优，证实了其鲁棒性与泛化能力。