[论文解读] ClawCraneNet: Leveraging Object-level Relation for Text-based Video Segmentation

Liang Chen, Yu Wu+2 more|arXiv (Cornell University)|Mar 19, 2021

Multimodal Machine Learning Applications参考文献 48被引用 20

一句话总结

ClawCraneNet 提出了一种新颖的自顶向下方法，用于基于文本的视频实例分割，通过基于检索的流水线建模对象级别的关联关系——空间关系、语义关系和时序关系。通过首先识别候选对象，再利用多模态关系，该方法在 A2D Sentences 和 J-HMDB Sentences 数据集上实现了最先进（SOTA）的性能，显著优于以往依赖局部像素级视觉-语言交互的自底向上方法。

ABSTRACT

Text-based video segmentation is a challenging task that segments out the natural language referred objects in videos. It essentially requires semantic comprehension and fine-grained video understanding. Existing methods introduce language representation into segmentation models in a bottom-up manner, which merely conducts vision-language interaction within local receptive fields of ConvNets. We argue that such interaction is not fulfilled since the model can barely construct region-level relationships given partial observations, which is contrary to the description logic of natural language/referring expressions. In fact, people usually describe a target object using relations with other objects, which may not be easily understood without seeing the whole video. To address the issue, we introduce a novel top-down approach by imitating how we human segment an object with the language guidance. We first figure out all candidate objects in videos and then choose the refereed one by parsing relations among those high-level objects. Three kinds of object-level relations are investigated for precise relationship understanding, i.e., positional relation, text-guided semantic relation, and temporal relation. Extensive experiments on A2D Sentences and J-HMDB Sentences show our method outperforms state-of-the-art methods by a large margin. Qualitative results also show our results are more explainable.

研究动机与目标

• 为解决自底向上方法在基于文本的视频分割中的局限性，这些方法依赖于局部像素级视觉-语言交互，难以建模高层语义关系。
• 通过模仿人类视觉认知机制提升分割精度：首先识别候选对象，再通过关系推理确定指代对象。
• 探究三种对象级关系——空间关系、语义关系和时序关系——在提升跨模态理解以实现视频分割方面的有效性。
• 证明自顶向下的、以对象为中心的关系推理优于传统自底向上的特征融合方法，能实现更鲁棒、更精确的分割。

提出的方法

• 一种自顶向下的流水线，首先通过现成的实例分割模型检测候选对象，实现基于对象的跨模态检索。
• 一种相对位置编码模块，利用排序索引建模空间关系（如“从左数第二个”），提升空间理解能力。
• 一种语言引导的对象注意力模块，通过语言线索突出显示相关对象对，捕捉语义关系（如“踢球”）。
• 一种时序关系模块，结合多目标跟踪与基于匈牙利算法的关联方法，构建帧间对象轨迹，确保时序一致性。
• 最终通过聚合轨迹上的置信度分数平均值生成分割结果，利用时序一致性实现稳定预测。
• 网络命名为 ClawCraneNet，灵感来源于使用语言引导从候选对象中选择目标的类比，如同抓娃娃机（claw crane machine）操作。

实验结果

研究问题

• RQ1 与像素级交互相比，建模对象级关系（空间、语义和时序）是否能提升基于文本的视频分割精度？
• RQ2 是否自顶向下的、基于检索的方法（先识别候选对象，再推理关系）优于自底向上的方法（在像素级别融合视觉与语言）？
• RQ3 相对位置编码与语言引导注意力在理解涉及空间或动作关系的指代表达方面分别起到何种作用？
• RQ4 在帧间引入时序一致性在多大程度上能提升分割的鲁棒性并减少歧义？

主要发现

• ClawCraneNet 在 A2D Sentences 和 J-HMDB Sentences 两个数据集上均达到最先进性能，显著优于现有方法。
• 消融实验表明，三种对象级关系模块（空间、语义、时序）均对性能有显著贡献，其中时序模块带来的增益最大。
• 包含全部三种关系模块的模型（ClawCraneNet + 时序关系）在 A2D Sentences 上达到最高的 mIoU，证明多模态关系推理的有效性。
• 定性分析显示，与自底向上方法相比，ClawCraneNet 生成的掩码更清晰、更准确，尤其在存在模糊或低对比度对象的复杂场景中表现更优。
• t-SNE 可视化结果表明，模型学习到了判别性强、分离良好的对象嵌入，验证了关系模块设计的有效性。
• 失败案例揭示了在高速运动、镜面反射以及语言歧义等场景下仍存在视觉-语言对齐的挑战，表明在不确定性下的视觉-语言定位仍有改进空间。