[论文解读] CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation

Jing Yu, Yuan Chai+3 more|arXiv (Cornell University)|Sep 16, 2020

Multimodal Machine Learning Applications参考文献 37被引用 7

一句话总结

本文提出 CogTree，一种新型的认知启发损失函数，用于无偏场景图生成，通过从有偏模型预测构建分层认知树，实现关系的粗粒度到细粒度区分。通过基于语义相似性将关系组织为树结构，并使用与模型无关的损失进行训练，CogTree 显著提升了长尾关系预测的性能，在多个 SGG 基准上达到最先进结果。

ABSTRACT

Scene graphs are semantic abstraction of images that encourage visual understanding and reasoning. However, the performance of Scene Graph Generation (SGG) is unsatisfactory when faced with biased data in real-world scenarios. Conventional debiasing research mainly studies from the view of balancing data distribution or learning unbiased models and representations, ignoring the correlations among the biased classes. In this work, we analyze this problem from a novel cognition perspective: automatically building a hierarchical cognitive structure from the biased predictions and navigating that hierarchy to locate the relationships, making the tail relationships receive more attention in a coarse-to-fine mode. To this end, we propose a novel debiasing Cognition Tree (CogTree) loss for unbiased SGG. We first build a cognitive structure CogTree to organize the relationships based on the prediction of a biased SGG model. The CogTree distinguishes remarkably different relationships at first and then focuses on a small portion of easily confused ones. Then, we propose a debiasing loss specially for this cognitive structure, which supports coarse-to-fine distinction for the correct relationships. The loss is model-agnostic and consistently boosting the performance of several state-of-the-art models. The code is available at: https://github.com/CYVincent/Scene-Graph-Transformer-CogTree.

研究动机与目标

• 为解决场景图生成中的长尾分布问题，即由于数据偏差导致稀有（尾部）关系被低估。
• 模拟前额叶皮层认知处理机制，建模类人分层推理在视觉关系预测中的应用。
• 设计一种去偏损失函数，支持关系的粗粒度到细粒度区分，减少语义相似但错误类别之间的干扰。
• 开发一种与模型无关的损失函数，可在多种最先进 SGG 架构上提升性能。

提出的方法

• 从有偏 SGG 模型预测中构建 CogTree 层次结构，按语义概念（如 'on' 与 'near'）分组关系，并从粗粒度到细粒度组织。
• 定义基于树的分类损失（ℒ_TCB），在每一层级鼓励正确预测，从高层概念开始，逐步细化到细粒度区分。
• 集成平坦分类损失（ℒ_CB）以保留一般关系学习能力，而树形损失则专注于分层判别。
• 在损失函数中使用基于注意力的加权机制，动态强调难以区分的关系，尤其是尾部类别。
• 基于两个原则构建 CogTree：(1) 属于同一语义概念的关系形成子树，(2) 子树按从粗到细的层级结构组织。
• 通过 ℒ_TCB 与 ℒ_CB 的加权组合在训练中应用 CogTree 损失，其中超参数 λ 经调优以实现最佳性能。

实验结果

研究问题

• RQ1 通过模仿人类粗粒度到细粒度的推理方式，关系的认知层次结构能否改善长尾场景图生成？
• RQ2 如何设计一种与模型无关的损失函数，以支持分层区分而无需修改网络架构？
• RQ3 将关系组织为树结构在多大程度上能减少语义相似但错误关系之间的干扰？
• RQ4 CogTree 损失是否能在多种 SGG 模型和基准上持续提升性能？

主要发现

• CogTree 在 VG-150K 数据集上达到最先进性能，Predicate Classification 的 mR@20/50/100 分数分别为 22.89 / 28.38 / 30.97，超越以往去偏方法。
• 消融实验表明，树形损失（ℒ_TCB）和平坦损失（ℒ_CB）均有所贡献，其中 ℒ_TCB 对性能影响更强。
• 使用 AVERAGE 而非 MAX 或 SUM 计算节点概率可获得最佳结果，因其更平衡地权衡预测置信度并减少错误惩罚。
• 违反认知树构建原则（如混合不同概念或层级的关系）会导致性能显著下降。
• 最优超参数 λ = 1 实现最佳整体性能，在 [0.7, 1.3] 范围内性能退化可忽略。
• 定性分析表明，CogTree 显著提升了细粒度关系预测能力（如 'parked on' 与 'standing on' 的区分），并减少了视觉相似关系之间的混淆。