[论文解读] Key Instance Selection for Unsupervised Video Object Segmentation

Donghyeon Cho, Sungeun Hong+2 more|arXiv (Cornell University)|Jun 18, 2019

Visual Attention and Saliency Detection参考文献 9被引用 10

一句话总结

该论文提出了一种用于无监督视频实例分割（UVOS）的关键实例选择方法，通过基于视频显著性与外观频率选择K个突出实例，提升了效率与准确性。通过结合ReID描述符、轨迹一致性与语义共同分割进行ID分配，并在第M帧后采用显著性驱动的选择策略，该方法在DAVIS UVOS排行榜上取得第三名，即使在K值较低时也表现出优越性能。

ABSTRACT

This paper proposes key instance selection based on video saliency covering objectness and dynamics for unsupervised video object segmentation (UVOS). Our method takes frames sequentially and extracts object proposals with corresponding masks for each frame. We link objects according to their similarity until the M-th frame and then assign them unique IDs (i.e., instances). Similarity measure takes into account multiple properties such as ReID descriptor, expected trajectory, and semantic co-segmentation result. After M-th frame, we select K IDs based on video saliency and frequency of appearance; then only these key IDs are tracked through the remaining frames. Thanks to these technical contributions, our results are ranked third on the leaderboard of UVOS DAVIS challenge.

研究动机与目标

• 为解决无监督视频对象分割（UVOS）中无首帧掩码时连续ID分配的低效与不稳定性问题。
• 通过在初始帧窗口后将跟踪实例限制为固定K个，以降低时间和内存复杂度。
• 通过选择语义显著且频繁出现的物体作为关键实例，提升分割质量。
• 通过多模态相似性评分，实现对遮挡和外观变化的鲁棒跟踪。

提出的方法

• 该方法使用Mask R-CNN和DeepLab进行实例分割，利用RGMP进行掩码传播以生成候选掩码。
• ID分配通过结合IOU、轨迹一致性、ReID描述符距离与相对ReID相似性的加权得分完成。
• 仅在第M帧之前添加新ID，之后通过显著性-频率加权得分选择K个关键实例。
• 显著性通过视频显著性分数在帧上计算，频率则统计每个ID在第M帧前的出现次数。
• 该方法在144块GPU上采用元学习系统，自动搜索最优超参数。
• 多尺度相似性度量结合ReID描述符、预测轨迹与语义共同分割，以提升对外观变化的鲁棒性。

实验结果

研究问题

• RQ1 能否有效利用视频显著性与外观频率，在无监督视频对象分割中选择关键实例？
• RQ2 在低K值下，基于显著性的实例选择与随机选择相比，分割准确率如何？
• RQ3 在缺乏真实掩码的情况下，ReID描述符与轨迹一致性在多大程度上能提升ID分配的鲁棒性？
• RQ4 可扩展的超参数搜索框架在UVOS基准上能否提升模型性能？

主要发现

• 所提方法在DAVIS UVOS验证集上取得全局平均JIoU为0.599，F-measure为0.599，在官方排行榜中位列第三。
• 在K=5时，该方法取得全局平均0.576的性能，显著优于随机选择（0.474），即使在实例极少时也表现出色。
• 该方法对尺度与外观变化具有鲁棒性，成功分割了如'mbike-trick'和'lab-coat'等动态场景中的对象。
• 消融实验表明，使用语义共同分割替代光流可提升大范围外观变化下的性能。
• 基于显著性的选择策略在保持高准确率的同时，降低了时间和内存复杂度，尤其在低K值下优势明显。
• 通过Meta AI系统进行的超参数搜索得到最优权重：w_iou=0.12，w_traj=0.575，w_reid=0.3，w_rel=0.0065，τ1=0.55，τ2=0.35，w_sal=0.5，w_freq=1.0。