[论文解读] Fully Transformer-Equipped Architecture for End-to-End Referring Video Object Segmentation

Ping Li, Yu Zhang+2 more|arXiv (Cornell University)|Sep 21, 2023

Advanced Image and Video Retrieval TechniquesComputer Science被引用 3

一句话总结

该论文提出FTEA，一种完全端到端的基于Transformer的架构，用于指代视频实例分割任务，将该任务视为基于对象的掩码预测。它使用堆叠的Transformer来解码具有多样性正则化的特定对象特征，实现了SOTA性能：在A2D Sentences数据集上达到45.1%的mAP，在J-HMDB Sentences数据集上达到38.7%，在Ref-YouTube-VOS数据集上达到56.6%的J&F。

ABSTRACT

Referring Video Object Segmentation (RVOS) requires segmenting the object in video referred by a natural language query. Existing methods mainly rely on sophisticated pipelines to tackle such cross-modal task, and do not explicitly model the object-level spatial context which plays an important role in locating the referred object. Therefore, we propose an end-to-end RVOS framework completely built upon transformers, termed extit{Fully Transformer-Equipped Architecture} (FTEA), which treats the RVOS task as a mask sequence learning problem and regards all the objects in video as candidate objects. Given a video clip with a text query, the visual-textual features are yielded by encoder, while the corresponding pixel-level and word-level features are aligned in terms of semantic similarity. To capture the object-level spatial context, we have developed the Stacked Transformer, which individually characterizes the visual appearance of each candidate object, whose feature map is decoded to the binary mask sequence in order directly. Finally, the model finds the best matching between mask sequence and text query. In addition, to diversify the generated masks for candidate objects, we impose a diversity loss on the model for capturing more accurate mask of the referred object. Empirical studies have shown the superiority of the proposed method on three benchmarks, e.g., FETA achieves 45.1% and 38.7% in terms of mAP on A2D Sentences (3782 videos) and J-HMDB Sentences (928 videos), respectively; it achieves 56.6% in terms of $\mathcal{J\&F}$ on Ref-YouTube-VOS (3975 videos and 7451 objects). Particularly, compared to the best candidate method, it has a gain of 2.1% and 3.2% in terms of P$@$0.5 on the former two, respectively, while it has a gain of 2.9% in terms of $\mathcal{J}$ on the latter one.

研究动机与目标

• 解决现有基于像素分类的方法在建模指代视频实例分割（RVOS）中对象级空间关系方面的局限性。
• 克服先前方法未能显式建模复杂场景中相对对象位置与交互关系的缺陷。
• 开发一种完全端到端的框架，仅使用Transformer统一视觉与文本特征编码、跨模态对齐及掩码解码。
• 通过将候选对象显式建模为独立实体并采用专用解码策略，提升掩码多样性与准确性。
• 在对象外观变化、遮挡和低光照等挑战性场景下实现更好的泛化能力。

提出的方法

• 提出一种完全基于Transformer的架构（FTEA），用纯Transformer替代所有组件中的CNN和RNN：视觉编码器、文本编码器、跨模态对齐模块和掩码解码器。
• 引入基于堆叠Transformer的掩码解码器，通过堆叠的自注意力和前馈网络层处理帧特征，生成特定对象的特征图。
• 采用渐进式对象学习策略，结合堆叠注意力（SA）和堆叠前馈网络（SFFN），以建模视频帧之间的长程时空依赖关系。
• 在解码器中引入动态卷积，以增强每个候选对象的特征表示，同时保持空间上下文信息。
• 在训练过程中引入多样性损失，以鼓励不同候选对象之间的掩码预测具有差异性，从而提升对场景中多个对象的识别能力。
• 通过像素级与词级表示之间的语义相似性匹配，对齐视觉与文本特征，确保准确的跨模态定位。

实验结果

研究问题

• RQ1 完全基于Transformer的架构是否能在端到端指代视频实例分割任务中超越混合CNN-RNN流水线？
• RQ2 将RVOS建模为基于对象的分类任务——即为所有候选对象生成掩码——是否能优于基于像素的分类方法？
• RQ3 堆叠的Transformer能否有效捕捉视频序列中对象级的空间上下文与长程时间依赖关系？
• RQ4 在存在多个相似或重叠对象的场景中，强制预测掩码的多样性如何影响目标对象的识别？
• RQ5 所提出方法在低光照、对象遮挡或外观变化等挑战性视觉条件下，其泛化能力如何？

主要发现

• 在A2D Sentences数据集上，FTEA达到45.1%的mAP，较最佳基线在P@0.5上提升2.1%，表明其在多样化指代表达上的强大泛化能力。
• 在J-HMDB Sentences数据集上，FTEA达到38.7%的mAP，较最强先前方法在P@0.5上提升3.2%，表明其对复杂人-物交互的鲁棒性。
• 在Ref-YouTube-VOS数据集上，FTEA实现56.6%的J&F，较最佳基线提升2.9%，凸显其在大规模、多样化视频数据集上的有效性。
• 消融实验表明，多样性损失显著提升了掩码质量和对象识别能力，尤其在重叠或外观相似的对象场景中表现更优。
• 失败案例揭示了在分割小尺寸或低对比度对象（如鸟喙、昏暗光线中的猫）方面仍存在局限，提示细粒度轮廓预测仍有改进空间。
• 模型性能对对象外观变化和遮挡较为敏感，表明未来工作应聚焦于关系推理与模型压缩。