[论文解读] Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation

Xiang Li, Jinglu Wang+2 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

该论文提出了一种无需边界框、无需检测、无需匹配的在线视频实例分割框架，采用混合实例感知时序融合方法。通过利用全局实例编码和跨帧的CNN特征图与交叉注意力机制，该方法在YouTube-VIS 2019上实现了41.3 mAP的最先进性能，在YouTube-VIS 2021上达到35.8 mAP，优于所有先前的在线方法以及许多离线方法。

ABSTRACT

Recently, transformer-based image segmentation methods have achieved notable success against previous solutions. While for video domains, how to effectively model temporal context with the attention of object instances across frames remains an open problem. In this paper, we propose an online video instance segmentation framework with a novel instance-aware temporal fusion method. We first leverages the representation, i.e., a latent code in the global context (instance code) and CNN feature maps to represent instance- and pixel-level features. Based on this representation, we introduce a cropping-free temporal fusion approach to model the temporal consistency between video frames. Specifically, we encode global instance-specific information in the instance code and build up inter-frame contextual fusion with hybrid attentions between the instance codes and CNN feature maps. Inter-frame consistency between the instance codes are further enforced with order constraints. By leveraging the learned hybrid temporal consistency, we are able to directly retrieve and maintain instance identities across frames, eliminating the complicated frame-wise instance matching in prior methods. Extensive experiments have been conducted on popular VIS datasets, i.e. Youtube-VIS-19/21. Our model achieves the best performance among all online VIS methods. Notably, our model also eclipses all offline methods when using the ResNet-50 backbone.

研究动机与目标

• 为解决在在线视频实例分割中建模时序一致性时，不依赖目标检测或逐帧实例匹配的挑战。
• 通过在统一注意力机制中融合像素级和实例级表征，提升帧间特征通信效果。
• 通过学习的实例编码实现跨帧的直接实例身份关联，消除复杂匹配模块的依赖。
• 在YouTube-VIS 2019和2021基准上，以轻量级、端到端的在线框架实现最先进性能。

提出的方法

• 采用CNN特征图与全局实例编码的混合表征，联合编码像素级和实例级特征。
• 在实例编码与特征图之间引入帧间交叉注意力，以在像素和实例两个层面建模时序一致性。
• 在帧间对实例编码施加一致性约束，通过训练过程强制保持顺序与身份一致性。
• 设计一种无裁剪的时序融合机制，避免特征裁剪，维持帧间通信中的全局上下文。
• 采用双分支Transformer架构：参考帧作为键编码器，目标帧作为查询解码器，实现高效的时序建模。
• 利用实例编码中的槽索引，直接实现跨帧的实例身份关联，无需后续匹配操作。

实验结果

研究问题

• RQ1 无边界框、无检测的方法是否能在在线视频实例分割中实现更优的时序一致性？
• RQ2 在无裁剪的前提下，像素级与实例级的混合注意力机制在帧间特征融合中的有效性如何？
• RQ3 仅依靠实例编码是否能维持跨帧的稳定身份关联，从而减少对匹配模块的依赖？
• RQ4 建模实例编码的一致性在多长的视频序列中能显著提升分割精度与鲁棒性？

主要发现

• 所提方法在YouTube-VIS 2019上达到41.3 mAP，超越所有先前的在线方法，甚至优于许多使用相同ResNet-50主干网络的离线方法。
• 在YouTube-VIS 2021上，模型达到35.8 mAP，为现有所有方法中的最高结果，表明其在新基准上具有强大的泛化能力。
• 消融实验表明，若禁用所有帧间注意力机制，mAP将降至36.9，证实注意力机制在时序融合中的关键作用。
• 随着参考帧数量从1增加到4，性能稳步提升，使用四帧参考时达到41.3 mAP，表明对时序上下文存在强依赖。
• 仅使用两个交替的Transformer层时性能最佳，表明浅层时序融合网络已足够且高效。
• 该方法对实例编码中冗余槽具有鲁棒性，即使槽的数量超过实际实例数，性能仍保持稳定。