[论文解读] CompFeat: Comprehensive Feature Aggregation for Video Instance Segmentation

Yang Fu, Linjie Yang+3 more|arXiv (Cornell University)|Dec 7, 2020

Video Surveillance and Tracking Methods参考文献 33被引用 14

一句话总结

该论文提出 CompFeat，一种用于视频实例分割的综合性特征聚合框架，通过在帧级和实例级引入双重注意力机制，整合时空上下文信息，增强特征表示能力。此外，该方法提出一种基于相关性的跟踪模块，利用互相关图实现更优的实例匹配，最终在 YouTube-VIS 上取得 28.4% AP 的 SOTA 性能表现。

ABSTRACT

Video instance segmentation is a complex task in which we need to detect, segment, and track each object for any given video. Previous approaches only utilize single-frame features for the detection, segmentation, and tracking of objects and they suffer in the video scenario due to several distinct challenges such as motion blur and drastic appearance change. To eliminate ambiguities introduced by only using single-frame features, we propose a novel comprehensive feature aggregation approach (CompFeat) to refine features at both frame-level and object-level with temporal and spatial context information. The aggregation process is carefully designed with a new attention mechanism which significantly increases the discriminative power of the learned features. We further improve the tracking capability of our model through a siamese design by incorporating both feature similarities and spatial similarities. Experiments conducted on the YouTube-VIS dataset validate the effectiveness of proposed CompFeat. Our code will be available at https://github.com/SHI-Labs/CompFeat-for-Video-Instance-Segmentation.

研究动机与目标

• 为解决视频实例分割中仅使用单帧特征所导致的运动模糊与外观变化下的错误问题。
• 通过在帧级和实例级聚合时空上下文信息，提升特征的可区分性。
• 通过引入新颖的相关性驱动跟踪模块，结合空间布局与特征相似性，提升跟踪鲁棒性。
• 在 YouTube-VIS 基准上通过消融实验系统评估各模块的贡献。

提出的方法

• 提出一种双重注意力模块，通过帧间的时间注意力与帧内空间注意力，利用上下文信息优化特征表示。
• 将双重注意力机制扩展至实例级，通过关注其他实例的特征，提升实例间的判别能力。
• 引入一种基于相关性的跟踪模块，通过计算参考对象与当前帧之间的互相关图，实现空间感知的匹配。
• 利用实例对之间的深度相关性生成匹配分数，提升跟踪精度，超越简单特征相似性方法。
• 采用类孪生网络设计，在帧间比较特征，结合特征与空间相似性，实现鲁棒的跟踪。
• 将帧级与实例级注意力模块与相关性跟踪模块结合，构建统一的、端到端可训练框架。

实验结果

研究问题

• RQ1 是否通过综合聚合时空上下文信息，能够使视频实例分割性能超越单帧基线方法？
• RQ2 帧级与实例级注意力机制在特征优化与实例判别中分别发挥何种作用？
• RQ3 基于相关性的跟踪模块若利用空间感知的互相关图，相较于传统基于相似性的方法，能在多大程度上提升实例跟踪性能？
• RQ4 注意力模块与相关性跟踪器在整体性能提升中的独立贡献与协同效应如何？
• RQ5 训练采样策略如何影响模型学习时空对应关系的能力？

主要发现

• 所提出的 CompFeat 框架在 YouTube-VIS 验证集上达到 28.4% AP，较基线 Mask-Track-RCNN 提升 4.3% AP 与 4.8% AP0.5。
• 引入帧级双重注意力机制使性能从 25.8% 提升至 26.3% AP，证明了时空上下文聚合的有效性。
• 实例级双重注意力模块在 AP、AP0.5 与 AP0.75 上分别提升 3.4%、3.5% 与 4.0%，显著增强特征可区分性。
• 仅使用基于相关性的跟踪模块即可使 AP 提升超过 1%，且在与帧级注意力结合时达到最佳性能。
• 训练阶段采用随机采样相比均匀采样能获得更好泛化能力，提升模型对时间变化的鲁棒性。
• 定性结果表明，CompFeat 能准确跟踪多个相似物体，有效处理中等程度遮挡，并在外观发生剧烈变化时保持身份一致性。