[论文解读] Efficient Video Instance Segmentation via Tracklet Query and Proposal

Jialian Wu, Sudhir Yarram+5 more|arXiv (Cornell University)|Mar 3, 2022

Video Analysis and Summarization被引用 4

一句话总结

本文提出 EfficientVIS，一种完全端到端的视频实例分割框架，通过使用轨迹片段查询（tracklet queries）和提议（proposals）实现高效、实时推理与快速训练。通过利用区域内的查询-视频交互与对应学习进行跨片段跟踪，其在 YouTube-VIS 上实现了最先进（SOTA）的准确率，且训练轮次仅为 VisTR 的 1/15，无需手工设计的数据关联。

ABSTRACT

Video Instance Segmentation (VIS) aims to simultaneously classify, segment, and track multiple object instances in videos. Recent clip-level VIS takes a short video clip as input each time showing stronger performance than frame-level VIS (tracking-by-segmentation), as more temporal context from multiple frames is utilized. Yet, most clip-level methods are neither end-to-end learnable nor real-time. These limitations are addressed by the recent VIS transformer (VisTR) which performs VIS end-to-end within a clip. However, VisTR suffers from long training time due to its frame-wise dense attention. In addition, VisTR is not fully end-to-end learnable in multiple video clips as it requires a hand-crafted data association to link instance tracklets between successive clips. This paper proposes EfficientVIS, a fully end-to-end framework with efficient training and inference. At the core are tracklet query and tracklet proposal that associate and segment regions-of-interest (RoIs) across space and time by an iterative query-video interaction. We further propose a correspondence learning that makes tracklets linking between clips end-to-end learnable. Compared to VisTR, EfficientVIS requires 15x fewer training epochs while achieving state-of-the-art accuracy on the YouTube-VIS benchmark. Meanwhile, our method enables whole video instance segmentation in a single end-to-end pass without data association at all.

研究动机与目标

• 解决现有片段级视频实例分割方法收敛缓慢且非端到端的问题。
• 消除多片段视频处理中对手工设计数据关联的依赖。
• 在保持高分割准确率的同时，实现实时推理与快速训练。
• 通过增强的时间上下文建模提升对目标遮挡和运动模糊的鲁棒性。
• 实现整个视频范围内完全端到端的学习，包括跨片段轨迹片段链接。

提出的方法

• 引入轨迹片段查询，一种可学习的潜在嵌入，用于编码实例外观，并通过对应学习在片段间更新。
• 采用轨迹片段提议，即时空管状区域，定义每个实例的感兴趣区域，从而减少计算量与背景杂波。
• 使用时间动态卷积，通过聚合提议区域内帧间特征来丰富时间上下文。
• 应用分解的时空自注意力机制，使查询在空间与时间上实现交互，从而在一次前向传播中生成完整轨迹片段掩码。
• 设计一种对应学习机制，实现跨片段的轨迹片段查询共享与更新，从而在无需数据关联的情况下实现端到端的跨片段关联。
• 采用 ROI -wise 查询-视频交互机制，聚焦于提议定义的区域，与 VisTR 中的帧级密集注意力相比，显著减少了冗余注意力。

实验结果

研究问题

• RQ1 片段级视频实例分割框架能否在保持高准确率的同时实现快速收敛？
• RQ2 端到端学习能否从单个片段扩展至多片段，实现无缝、可学习的轨迹片段链接？
• RQ3 能否通过可学习的对应机制，消除多片段 VIS 中对手工设计数据关联的依赖？
• RQ4 ROI -wise 查询交互与密集注意力相比，在训练效率与分割精度方面表现如何？
• RQ5 在低帧率条件下（运动追踪器失效时），该框架能否保持强性能？

主要发现

• EfficientVIS 在 YouTube-VIS 2019 与 2021 基准上实现了最先进性能，且未使用额外数据或多模型集成。
• 与 VisTR 相比，该方法将训练时间减少了 15 倍，收敛所需轮次显著减少。
• EfficientVIS 在 VisTR 基础上将 AP75 提升 1.5%，AR（召回率）提升 3.2%，表明掩码精度更高，且对遮挡目标的检测能力更强。
• 该框架在 0.2 FPS（每 5 秒一帧）条件下仍保持强劲性能，证明其对低帧率和运动模糊具有鲁棒性。
• 在多片段设置中，对应学习优于手工设计的数据关联，YouTube-VIS 2019 上 AP 提升 2.1%。
• ROI -wise 设计减少了背景干扰，提升了掩码质量，从而在实现更快收敛的同时保持更高准确率。