[论文解读] 1st Place Solution for PSG competition with ECCV'22 SenseHuman Workshop

Qixun Wang, Xiaofeng Guo+1 more|arXiv (Cornell University)|Feb 6, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 GRNet，一种两阶段全景图像图生成框架，通过基于 Transformer 的全局关系模块整合全局上下文，提升关系预测性能，同时通过自蒸馏伪标签的软标签监督策略，缓解长尾谓词分布和关系模糊性问题。该方法在 OpenPSG 基准上取得最先进性能，超越先前的一阶段与两阶段方法。

ABSTRACT

Panoptic Scene Graph (PSG) generation aims to generate scene graph representations based on panoptic segmentation instead of rigid bounding boxes. Existing PSG methods utilize one-stage paradigm which simultaneously generates scene graphs and predicts semantic segmentation masks or two-stage paradigm that first adopt an off-the-shelf panoptic segmentor, then pairwise relationship prediction between these predicted objects. One-stage approach despite having a simplified training paradigm, its segmentation results are usually under-satisfactory, while two-stage approach lacks global context and leads to low performance on relation prediction. To bridge this gap, in this paper, we propose GRNet, a Global Relation Network in two-stage paradigm, where the pre-extracted local object features and their corresponding masks are fed into a transformer with class embeddings. To handle relation ambiguity and predicate classification bias caused by long-tailed distribution, we formulate relation prediction in the second stage as a multi-class classification task with soft label. We conduct comprehensive experiments on OpenPSG dataset and achieve the state-of-art performance on the leadboard. We also show the effectiveness of our soft label strategy for long-tailed classes in ablation studies. Our code has been released in https://github.com/wangqixun/mfpsg.

研究动机与目标

• 通过引入全局上下文增强两阶段方法，弥合一阶段与两阶段全景图像图生成范式之间的性能差距。
• 通过新颖的软标签训练策略，缓解谓词分类中的关系模糊性与长尾分布偏差。
• 通过基于 Transformer 的全局关系模块，联合优化所有成对关系，提升图像图生成性能。
• 在标准评估协议下，于 OpenPSG 基准上实现最先进结果。

提出的方法

• GRNet 采用两阶段范式：首先使用 Mask2Former 作为现成的全景分割器，提取物体掩码与 RoI 特征。
• 将物体级别特征及其对应掩码进行融合，并输入至带有类别嵌入的 Transformer 编码器，以建模所有检测到物体之间的全局关系。
• 通过训练过程中模型预测的指数移动平均（EMA）生成软标签，将关系预测重新定义为多分类任务。
• 使用自蒸馏软标签以减少长尾谓词分布带来的偏差，并处理缺失标注问题。
• 应用焦点损失（focal loss）以重新平衡稀有与常见谓词类别之间的训练损失。
• 在对分割器进行 50 个周期预训练后，对完整模型进行端到端微调，额外进行 12 个周期的联合训练。

Figure 1: Panoptic Scene graph Generation . PSG presents a more comprehensive and clean scene graph representation, with more accurate localization of objects and including relationships with the background (known as stuff).

实验结果

研究问题

• RQ1 两阶段全景图像图生成方法能否有效恢复全局上下文，以匹配一阶段方法的性能？
• RQ2 在长尾谓词分布背景下，自蒸馏伪标签的软标签监督策略在多大程度上改善了关系预测？
• RQ3 与基于局部特征的方法相比，全局关系模块在远距离物体关系上的性能提升程度如何？
• RQ4 软标签与焦点损失的结合是否在频繁与稀有谓词类别上均带来一致的性能提升？

主要发现

• GRNet 在 Swin-B 主干网络与 Mask2Former 分割器下，于 OpenPSG 测试集上达到 55.0% 的 mR@100，超越所有先前的一阶段与两阶段方法。
• 与之前最佳的两阶段基线（GPSNet）相比，mR@100 提升 9.1 个百分点，与最佳一阶段方法（PSGFormer）相比提升 14.9 个百分点。
• 消融实验表明，软标签训练显著提升了长尾谓词类别（尤其是训练样本少于 100 个的类别）的性能。
• 焦点损失的使用进一步提升了稀有谓词的性能，缩小了频繁与稀有类别之间的性能差距。
• 与基于局部特征的基线相比，全局关系模块使 mR@100 提升 7.5 个百分点，证明了全局上下文在关系推理中的价值。
• 模型在 Swin-B 主干网络下达到 40.8% 的 mR@100，表明其在更深架构下具备强大的可扩展性。

Figure 2: The pipeline of our proposed GRNet . We follow two-stage paradigm where an off-theshelf panoptic segmentor is used to generate object mask and then pairwise relationship prediction between these predicted objects.