[论文解读] Classification-Then-Grounding: Reformulating Video Scene Graphs as Temporal Bipartite Graphs

Kaifeng Gao, Long Chen+3 more|arXiv (Cornell University)|Dec 8, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种新颖的分类-定位框架用于视频场景图生成（VidSGG），将视频场景图重新表述为时间双部图，以克服基于提议的方法的局限性。通过在定位时间跨度之前对完整主-客体轨迹进行谓词分类，该方法保留了高阶关系，避免了不一致的标注，并提升了性能，在 VidOR 和 VidVRD 上取得了新的 SOTA 结果，使用了新模型 BIG。

ABSTRACT

Today's VidSGG models are all proposal-based methods, i.e., they first generate numerous paired subject-object snippets as proposals, and then conduct predicate classification for each proposal. In this paper, we argue that this prevalent proposal-based framework has three inherent drawbacks: 1) The ground-truth predicate labels for proposals are partially correct. 2) They break the high-order relations among different predicate instances of a same subject-object pair. 3) VidSGG performance is upper-bounded by the quality of the proposals. To this end, we propose a new classification-then-grounding framework for VidSGG, which can avoid all the three overlooked drawbacks. Meanwhile, under this framework, we reformulate the video scene graphs as temporal bipartite graphs, where the entities and predicates are two types of nodes with time slots, and the edges denote different semantic roles between these nodes. This formulation takes full advantage of our new framework. Accordingly, we further propose a novel BIpartite Graph based SGG model: BIG. It consists of a classification stage and a grounding stage, where the former aims to classify the categories of all the nodes and the edges, and the latter tries to localize the temporal location of each relation instance. Extensive ablations on two VidSGG datasets have attested to the effectiveness of our framework and BIG. Code is available at https://github.com/Dawn-LX/VidSGG-BIG.

研究动机与目标

• 解决基于提议的 VidSGG 方法固有的缺陷，包括不一致的真实标签标注、高阶关系断裂以及提议质量瓶颈。
• 将视频场景图重新表述为时间双部图，通过时间感知的节点类型和语义角色边来建模实体和谓词。
• 设计一个两阶段框架——先分类后定位，以提升谓词分类和时间定位的准确性。
• 为具有多个谓词实例的主-客体对实现多实例定位，增强对复杂视频交互的鲁棒性。
• 通过利用完整的轨迹上下文并保留关系结构，在 VidOR 和 VidVRD 基准上实现 SOTA 性能。

提出的方法

• 将 VidSGG 重新表述为时间双部图，包含两类节点：实体（主语/宾语）和谓词，每类节点关联时间槽。
• 使用双部图中的有向边建模实体与谓词之间的语义角色，捕捉时间与关系结构。
• 将任务分解为两个阶段：首先使用全局轨迹表示对所有节点和边类别进行分类；其次定位每个预测关系实例的时间跨度。
• 采用基于分数筛选和时间 NMS 的多实例定位方法，为每个关系三元组预测多个时间槽，提升鲁棒性。
• 采用两阶段训练流程：分别对分类和定位阶段进行训练，使用优化的超参数和损失加权。
• 应用标签分配策略，保留每个主-客体对的多个真实标签实例，其中 98.43% 的时间区间仅包含一个实例，验证了该策略的适用性。

Figure 1 : (a) : The pipeline of proposal-based framework. Given a video, it first generates numerous proposals (with different time slots), and then conducts predicate classification for each proposal. (b) : The pipeline of classification-then-grounding framework. It first conducts predicate classi

实验结果

研究问题

• RQ1 分类-定位框架是否能通过避免不一致和部分的真实标签标注，超越基于提议的 VidSGG 方法？
• RQ2 将视频场景图建模为时间双部图在建模同一主-客体对上多个谓词实例之间的高阶关系方面有何改进？
• RQ3 VidSGG 性能在多大程度上依赖于提议质量？无提议的分类阶段是否能缓解这一上限？
• RQ4 多实例定位在捕捉同一主-客体对之间多个同时或顺序发生的谓词关系方面有多有效？
• RQ5 所提出的框架是否能在 VidOR 和 VidVRD 等标准 VidSGG 基准上实现 SOTA 性能？

主要发现

• 所提出的分类-定位框架在 VidOR 和 VidVRD 上均优于现有基于提议的方法，表现出更优的泛化能力和鲁棒性。
• 在 VidOR 上，该模型实现了新的 SOTA 性能，相较于先前方法在平均 mAP 上实现了 1.5% 的绝对提升，验证了新框架的有效性。
• 在 VidVRD 上，该模型在平均 mAP 上实现了 2.1% 的绝对增益，表明在不同数据集和设置下均保持一致的性能提升。
• 消融研究证实，该框架显著减少了标签不一致性，并保留了高阶关系上下文，而这类信息在基于提议的方法中会丢失。
• 多实例定位机制有效捕捉了 32% 的具有多个真实标签实例的谓词，且标签分配策略极为有效，仅有 1.57% 的时间区间包含两个或更多实例。
• 模型的推理流程（包括分数过滤和时间 NMS）提升了预测可靠性，减少了误报并增强了定位准确性。

Figure 2 : Left : A video example and its ground-truth visual relation triplets. Right : The corresponding temporal bipartite graph. Comparisons with existing formulation are left in appendix.