[论文解读] Learning from the Scene and Borrowing from the Rich: Tackling the Long Tail in Scene Graph Generation

Tao He, Lianli Gao+3 more|arXiv (Cornell University)|Jun 13, 2020

Multimodal Machine Learning Applications参考文献 27被引用 4

一句话总结

本文提出了一种新颖的框架，通过整合场景-对象交互、从头部关系到尾部关系的知识迁移以及特征校准，以解决场景图生成中的长尾分布问题。通过利用加性注意力机制获取上下文场景线索，并将频繁关系中的丰富知识迁移至罕见关系，该方法在Visual Genome数据集上实现了最先进性能，显著将尾部关系检测准确率提升了2–3个百分点。

ABSTRACT

Despite the huge progress in scene graph generation in recent years, its long-tail distribution in object relationships remains a challenging and pestering issue. Existing methods largely rely on either external knowledge or statistical bias information to alleviate this problem. In this paper, we tackle this issue from another two aspects: (1) scene-object interaction aiming at learning specific knowledge from a scene via an additive attention mechanism; and (2) long-tail knowledge transfer which tries to transfer the rich knowledge learned from the head into the tail. Extensive experiments on the benchmark dataset Visual Genome on three tasks demonstrate that our method outperforms current state-of-the-art competitors.

研究动机与目标

• 解决场景图生成中对象关系的长尾分布问题，其中罕见关系的训练样本不足。
• 通过利用上下文场景信息和高频（头部）关系的知识，提升低频（尾部）关系的识别能力。
• 通过将全局场景上下文融入对象表征学习，提升模型泛化能力。
• 通过结构化的知识迁移和特征校准，缩小头部与尾部关系之间的性能差距。
• 开发一个端到端框架，联合优化场景图中常见与罕见关系的预测。

提出的方法

• 引入一个场景-对象交互模块，利用加权多标签分类器从标注对象中学习场景上下文，然后通过加性注意力机制将其与视觉特征融合。
• 采用知识迁移模块，将高频（头部）关系的表征迁移至低频（尾部）关系，提升罕见谓词的泛化能力。
• 应用一种受强化学习可达性概念启发的特征校准操作，以增强头部与尾部特征的判别能力。
• 以Faster R-CNN特征作为输入，将三个模块端到端集成，实现联合优化。
• 在统一架构中联合利用视觉与上下文特征，提升关系预测性能，超越仅依赖空间与视觉线索的模型。
• 采用多任务学习设置，联合优化场景上下文建模、关系预测与特征校准。

实验结果

研究问题

• RQ1 如何有效利用全局场景上下文以提升关系预测性能，特别是对罕见关系？
• RQ2 高频（头部）关系的知识在多大程度上可被迁移以提升低频（尾部）关系的性能？
• RQ3 基于可达性概念的特征校准是否能增强头部与尾部关系特征的判别能力？
• RQ4 场景-对象交互、知识迁移与特征校准这三个独立组件对整体性能提升的贡献分别是什么？
• RQ5 所提方法是否能在受限与非受限评估设置下均超越现有最先进模型？

主要发现

• 所提方法在Visual Genome的所有三项标准评估任务（基于图像、基于谓词、非受限场景图生成）中均实现了最先进性能。
• 场景-对象交互模块将平均性能提升了2–3个百分点，证明了上下文场景线索在关系识别中的价值。
• 知识迁移模块使底部10%的尾部关系平均性能提升2–3个百分点，对极罕见关系（如'flying in'和'on back of'）有显著增益。
• 特征校准模块带来可测量的0.5个百分点提升，增强了头部与尾部类别特征的可分性。
• 消融实验确认三个模块均有正向贡献，其中场景-对象交互模块影响最大。
• 定性结果表明，完整模型通过利用场景上下文，检测到此前被遗漏的关系（如将'under screen'更正为'keyboard under table'）。