[论文解读] Joint Modeling of Feature, Correspondence, and a Compressed Memory for Video Object Segmentation

Jiaming Zhang, Yutao Cui+2 more|arXiv (Cornell University)|Aug 25, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出 JointFormer，一种统一的视频实例分割框架，通过在单一基于 Transformer 的架构中联合建模特征、对应关系与压缩记忆 token，实现端到端的视频对象分割。通过在 Joint Blocks 中利用注意力机制，迭代地在特征、对应关系与记忆之间传播目标信息，该方法在 DAVIS 2017（验证集 89.7% J&F，测试开发集 87.6%）和 YouTube-VOS 2018/2019（两个验证集均为 87.0%）上达到当前最优性能，通过增强判别性特征学习与长期时序建模，超越了先前方法。

ABSTRACT

Current prevailing Video Object Segmentation methods follow the pipeline of extraction-then-matching, which first extracts features on current and reference frames independently, and then performs dense matching between them. This decoupled pipeline limits information propagation between frames to high-level features, hindering fine-grained details for matching. Furthermore, the pixel-wise matching lacks holistic target understanding, making it prone to disturbance by similar distractors. To address these issues, we propose a unified VOS framework, coined as JointFormer, for jointly modeling feature extraction, correspondence matching, and a compressed memory. The core Joint Modeling Block leverages attention to simultaneously extract and propagate the target information from the reference frame to the current frame and a compressed memory token. This joint scheme enables extensive multi-layer propagation beyond high-level feature space and facilitates robust instance-distinctive feature learning. To incorporate the long-term and holistic target information, we introduce a compressed memory token with a customized online updating mechanism, which aggregates target features and facilitates temporal information propagation in a frame-wise manner, enhancing global modeling consistency. Our JointFormer achieves a new state-of-the-art performance on the DAVIS 2017 val/test-dev (89.7\% and 87.6\%) benchmarks and the YouTube-VOS 2018/2019 val (87.0\% and 87.0\%) benchmarks, outperforming the existing works. To demonstrate the generalizability of our model, it is further evaluated on four new benchmarks with various difficulties, including MOSE for complex scenes, VISOR for egocentric videos, VOST for complex transformations, and LVOS for long-term videos.

研究动机与目标

• 为解决现有 VOS 方法中解耦的特征提取与匹配机制的局限性，这些方法限制了信息在高层特征中的流动，忽略了对整体对象的完整理解。
• 通过在单一架构中联合建模特征、像素级对应关系与实例级压缩记忆，提升判别性特征学习能力。
• 通过为压缩记忆 token 设计定制化的在线更新机制，实现跨帧的信息传播，从而增强长期时序建模能力。
• 通过在单一基于注意力的框架下统一三者，实现对大规模预训练技术（如掩码图像建模）的有效利用。
• 通过在特征、对应关系与记忆之间实现多层次、迭代式的信息传播，实现标准基准上的卓越性能。

提出的方法

• 该框架将展平后的当前帧与参考帧特征以及压缩记忆 token 拼接为一个 token 序列，由 Vision Transformer 主干网络中的堆叠 Joint Blocks 处理。
• 每个 Joint Block 使用自注意力与交叉注意力，端到端地同时提取特征、计算密集对应关系图，并更新压缩记忆 token。
• 压缩记忆 token 将每个对象表示为单一实例级嵌入，实现整体对象建模并降低内存开销。
• 为压缩记忆设计的定制化在线更新机制，利用前序帧的多级特征作为时序上下文，实现在时间维度上的长距离信息流动。
• 在推理阶段应用多尺度推理，通过在多个尺度上评估并平均预测结果，提升鲁棒性与准确性。
• 模型在主干网络上采用掩码图像建模预训练目标进行训练，从而提升特征学习能力，并在下游 VOS 任务中取得更优性能。

Figure 1 : The pipeline of existing VOS works (a) and ours (b). (a) Existing works perform feature extraction and matching separately. (b) Our framework jointly models features, correspondence, and the compressed memory.

实验结果

研究问题

• RQ1 在单个 Transformer 块中联合建模特征、对应关系与压缩记忆，是否能相比解耦式流水线提升视频对象分割性能？
• RQ2 将压缩记忆 token 作为整体对象表示，如何增强整体对象理解能力并降低对干扰物的敏感性？
• RQ3 所提出的压缩记忆在线更新机制在多大程度上提升了长视频序列中的长期时序建模能力与鲁棒性？
• RQ4 统一的基于注意力的设计是否相比独立的特征与匹配模块，能更好地利用大规模预训练技术（如掩码图像建模）？
• RQ5 在压缩记忆中使用多个参考帧时，性能、推理速度与内存消耗之间的权衡如何？

主要发现

• JointFormer 在 DAVIS 2017 验证集上达到 89.7% J&F 的新 SOTA 性能，在测试开发集上达到 87.6%，显著优于先前方法。
• 在 YouTube-VOS 2018 与 2019 的验证集上，该方法取得 87.0% 的全局得分（G），展现出在多样化视频分布上的强大泛化能力。
• 消融实验表明，多尺度推理可提升性能，当采用多尺度评估时，DAVIS 2017 测试开发集的最佳结果达到 88.5% J&F。
• 即使在使用与先前 SOTA 模型（AOT-L、DeAOT-L、XMem）相同的训练设置且无合成预训练的情况下，将这些模型的主干替换为 ConvMAE-Base 后，JointFormer 仍大幅超越它们。
• 该模型在将每帧内存消耗降低至 5.785K 参数（相比 XMem 的 18.77K）的同时，保持了 86.0% 的 YouTube-VOS 2018 全局得分，展现出显著的效率优势。
• 将参考帧数量从 3 个减少到 1 个，仅导致性能轻微下降（YouTube-VOS 2018 上从 87.6% 降至 86.2%），表明其具备强鲁棒性，并具备实现更快推理的潜力。

Figure 2 : Overview of our JointFormer . The current and reference frames with masks are split and flattened into patches, then fed with our compressed memory into the Vision Transformer backbone consisting of Joint Blocks . Finally, we enhance the current tokens with compressed memory and sent them