[论文解读] Exploring the Hierarchy in Relation Labels for Scene Graph Generation

Yi Zhou, Shuyang Sun+3 more|arXiv (Cornell University)|Sep 12, 2020

Multimodal Machine Learning Applications参考文献 32被引用 6

一句话总结

本文提出一种层次引导的场景图生成方法，通过多级标签层次结构建模语义关系，利用粗粒度与细粒度联合监督提升特征学习。通过引入层次引导特征学习（HGFL）和层次引导模块（HGM），在多个数据集上实现了最高达33%的Recall@50相对提升，且推理开销极低。

ABSTRACT

By assigning each relationship a single label, current approaches formulate the relationship detection as a classification problem. Under this formulation, predicate categories are treated as completely different classes. However, different from the object labels where different classes have explicit boundaries, predicates usually have overlaps in their semantic meanings. For example, sit\_on and stand\_on have common meanings in vertical relationships but different details of how these two objects are vertically placed. In order to leverage the inherent structures of the predicate categories, we propose to first build the language hierarchy and then utilize the Hierarchy Guided Feature Learning (HGFL) strategy to learn better region features of both the coarse-grained level and the fine-grained level. Besides, we also propose the Hierarchy Guided Module (HGM) to utilize the coarse-grained level to guide the learning of fine-grained level features. Experiments show that the proposed simple yet effective method can improve several state-of-the-art baselines by a large margin (up to $33\%$ relative gain) in terms of Recall@50 on the task of Scene Graph Generation in different datasets.

研究动机与目标

• 为解决将谓词标签视为独立类别所带来的局限性，尽管其存在语义重叠。
• 基于人类与机器对语义的理解，利用分层组织方式建模关系标签的内在语义结构。
• 通过联合监督粗粒度与细粒度谓词层级，改进区域特征学习。
• 通过利用粗粒度与细粒度特征之间的跨层级相关性，增强特征表示。
• 开发一种可泛化的通用方法，在仅增加极少计算开销的前提下，提升最先进模型的性能。

提出的方法

• 通过聚类语义重叠的关系，将谓词标签组织为父类（粗粒度）与保留原始标签（细粒度）的层次结构。
• 提出层次引导特征学习（HGFL），一种双分支训练策略，联合使用粗粒度与细粒度标签优化特征。
• 设计层次引导模块（HGM），用于建模粗粒度与细粒度特征之间的区域级与通道级相关性，以实现特征精炼。
• 在不修改推理流程的前提下，将HGFL与HGM集成至现有场景图生成框架中。
• 利用人工与机器标注的语义理解指导谓词层次结构的构建。
• 在层次的两个层级上端到端联合训练，实现粗粒度与细粒度层级之间的知识迁移。

实验结果

研究问题

• RQ1 如何在场景图生成中有效建模关系标签之间的语义重叠？
• RQ2 同时从粗粒度与细粒度谓词标签中学习，是否能提升特征表示与性能？
• RQ3 如何利用粗粒度与细粒度特征之间的跨层级相关性来精炼区域特征？
• RQ4 所提出的方法是否在不同数据集与主干网络架构上具有泛化能力？
• RQ5 与标准分类相比，使用层次监督带来的性能相对提升是多少？

主要发现

• 所提出的HGFL策略在VG-DR-Net数据集上实现最高达33%的Recall@50相对提升，在VG-MSDN数据集上实现18.9%的提升。
• 层次引导模块（HGM）在仅使用HGFL的基础上，进一步带来5%或以上的Recall@50相对提升。
• 该方法在VG-MSDN与VG-DR-Net两个数据集上均优于最先进模型，超越了IH-Tree等先前方法。
• 该方法在四个不同的场景图生成框架中均表现出泛化能力，且在所有框架中均持续提升性能。
• 性能提升仅带来微小的训练开销，且无额外推理开销，适用于实际部署。
• 在VG-H数据集的三个任务上，Recall@50与@100的平均提升达4.27%，优于IH-Tree的2.01%提升。