[论文解读] MHP-VOS: Multiple Hypotheses Propagation for Video Object Segmentation

Shuangjie Xu, Daizong Liu+3 more|arXiv (Cornell University)|Apr 17, 2019

Video Surveillance and Tracking Methods参考文献 37被引用 10

一句话总结

MHP-VOS 提出了一种用于半监督视频实例分割的多假设传播框架，通过构建基于运动门控提议的时序跟踪树并引入一种新颖的掩码传播得分，推迟了对象关联决策，显著提升了对遮挡和对象丢失的鲁棒性，在 DAVIS 基准上实现了最先进性能，DAVIS2016 上的平均 JIoU 达到 86.9%，DAVIS2017 上达到 69.7%，在最优超参数设置下表现优异。

ABSTRACT

We address the problem of semi-supervised video object segmentation (VOS), where the masks of objects of interests are given in the first frame of an input video. To deal with challenging cases where objects are occluded or missing, previous work relies on greedy data association strategies that make decisions for each frame individually. In this paper, we propose a novel approach to defer the decision making for a target object in each frame, until a global view can be established with the entire video being taken into consideration. Our approach is in the same spirit as Multiple Hypotheses Tracking (MHT) methods, making several critical adaptations for the VOS problem. We employ the bounding box (bbox) hypothesis for tracking tree formation, and the multiple hypotheses are spawned by propagating the preceding bbox into the detected bbox proposals within a gated region starting from the initial object mask in the first frame. The gated region is determined by a gating scheme which takes into account a more comprehensive motion model rather than the simple Kalman filtering model in traditional MHT. To further design more customized algorithms tailored for VOS, we develop a novel mask propagation score instead of the appearance similarity score that could be brittle due to large deformations. The mask propagation score, together with the motion score, determines the affinity between the hypotheses during tree pruning. Finally, a novel mask merging strategy is employed to handle mask conflicts between objects. Extensive experiments on challenging datasets demonstrate the effectiveness of the proposed method, especially in the case of object missing.

研究动机与目标

• 为解决在遮挡、大形变和对象重新出现情况下，半监督视频实例分割中贪婪数据关联方法的局限性。
• 提升在外观相似性失效（由于大运动或形变）的复杂场景下的鲁棒性。
• 通过延迟对象关联决策，直至考虑完整视频上下文，实现全局、长期的决策制定。
• 通过一种新颖的掩码融合策略，在多对象场景中处理对象冲突。

提出的方法

• 通过在运动门控区域内的类别无关对象提议中传播初始边界框，构建跟踪树，以更全面的运动模型替代传统的卡尔曼滤波。
• 提出一种基于帧间掩码一致性的新颖掩码传播得分，替代在形变下性能下降的脆弱外观相似性得分。
• 采用门控机制，根据运动动态定义区域，限制候选提议范围，提升假设的相关性。
• 使用结合运动与掩码传播得分的加权亲和度分数指导树剪枝，超参数通过网格搜索进行调优。
• 应用 N-扫描剪枝策略延迟最终假设选择，在性能与推理速度之间取得平衡。
• 实施一种掩码融合策略，通过在模糊重叠区域分类身份，解决重叠对象之间的冲突。

实验结果

研究问题

• RQ1 在遮挡和形变条件下，延迟对象关联决策是否能提升半监督视频实例分割的分割精度？
• RQ2 与卡尔曼滤波相比，基于运动门控的假设树在跨帧保持跟踪一致性方面表现如何？
• RQ3 基于空间一致性的掩码传播得分是否能优于外观相似性，在处理大形变时表现更优？
• RQ4 所提出的掩码融合策略在解决重叠对象之间冲突方面的有效性如何？
• RQ5 在实时应用中，决策延迟（N-扫描剪枝）与推理速度之间的权衡关系如何？

主要发现

• MHP-VOS 在 DAVIS2016 验证集上实现了 86.9% 的平均 JIoU，比之前的 SOTA 方法 OSVOS-S 在全局平均指标上高出 0.3%。
• 在 DAVIS2017 上，MHP-VOS 在 N=5 时达到 69.7% 的平均 JIoU，表明延迟决策带来了显著的性能提升。
• 与强基线 MSK 相比，该方法在全局平均指标上提升了 9.3%，凸显其在复杂序列中的鲁棒性。
• 最优超参数被确定为 wm=0.3 和 wn=-0.4，N=3 在速度与准确率之间提供了最佳平衡。
• 掩码传播得分有效减少了因外观相似性导致的遮挡或形变对象失败案例，如在 'deer' 和 'tennis-vest' 序列的定性分析中所示。
• 所提出的掩码融合策略能有效解决重叠对象区域的身份混淆问题，降低模糊情况下的误分类率。