[论文解读] Expression Prompt Collaboration Transformer for Universal Referring Video Object Segmentation

Jiajun Chen, Jiacheng Lin+5 more|arXiv (Cornell University)|Aug 8, 2023

Speech and Audio Processing被引用 4

一句话总结

本文提出 EPCFormer，一种基于 Transformer 的通用架构，用于参照视频目标分割，可联合处理音频和文本提示。通过引入基于对比学习的表达对齐（Expression Alignment）以及用于跨模态融合的表达-视觉注意力（Expression-Visual Attention），EPCFormer 在参照视频目标分割（R-VOS）和音频引导的视频目标分割（A-VOS）基准上均实现了最先进性能，在 Ref-Youtube-VOS 上取得 55.6% 的 J&F 分数，在 A-Youtube-VOS 上取得 53.7% 的分数。

ABSTRACT

Audio-guided Video Object Segmentation (A-VOS) and Referring Video Object Segmentation (R-VOS) are two highly related tasks that both aim to segment specific objects from video sequences according to expression prompts. However, due to the challenges of modeling representations for different modalities, existing methods struggle to strike a balance between interaction flexibility and localization precision. In this paper, we address this problem from two perspectives: the alignment of audio and text and the deep interaction among audio, text, and visual modalities. First, we propose a universal architecture, the Expression Prompt Collaboration Transformer, herein EPCFormer. Next, we propose an Expression Alignment (EA) mechanism for audio and text. The proposed EPCFormer exploits the fact that audio and text prompts referring to the same objects are semantically equivalent by using contrastive learning for both types of expressions. Then, to facilitate deep interactions among audio, text, and visual modalities, we introduce an Expression-Visual Attention (EVA) module. The knowledge of video object segmentation in terms of the expression prompts can seamlessly transfer between the two tasks by deeply exploring complementary cues between text and audio. Experiments on well-recognized benchmarks demonstrate that our EPCFormer attains state-of-the-art results on both tasks. The source code will be made publicly available at https://github.com/lab206/EPCFormer.

研究动机与目标

• 为解决多模态参照视频目标分割中交互灵活性与高精度定位之间的平衡挑战。
• 通过在单一架构中统一两种模态，实现文本引导与音频引导分割之间的无缝知识迁移。
• 通过对比学习提升描述同一对象的音频与文本表达之间的语义对齐。
• 通过新型注意力机制促进音频、文本与视觉特征之间的深度、可组合交互。
• 通过共享的多任务学习框架，在 R-VOS 和 A-VOS 任务上均实现最先进性能。

提出的方法

• 提出 EPCFormer，一种基于 Transformer 的通用架构，可在统一网络中处理音频和文本参照表达。
• 引入表达对齐（EA），一种基于对比学习的机制，通过线性投影将音频和文本特征对齐至共享的多模态嵌入空间。
• 设计表达-视觉注意力（EVA），由表达-视觉交互（EVI）模块和音频-文本协作（ATC）模块组成，以实现音频、文本与视觉特征的深度、可组合融合。
• 采用多任务训练策略，同时优化 R-VOS 和 A-VOS，实现两个任务之间的知识迁移。
• 使用双分支路径：一个用于音频，一个用于文本，共享视觉编码器和跨注意力机制，以动态融合模态。
• 通过加权损失函数优化模型，结合分割损失与表达对比学习损失，超参数分析确认在 2 个 MLP 层和 λ_expr = 1 时达到最优设置。

实验结果

研究问题

• RQ1 统一架构能否有效处理共享参数下的文本与音频引导的参照视频目标分割？
• RQ2 如何在多模态嵌入空间中对齐描述同一对象的音频与文本表达？
• RQ3 如何实现音频、文本与视觉特征之间深度、可组合交互以实现精确分割？
• RQ4 在 R-VOS 和 A-VOS 上进行多任务训练是否相比单任务基线能提升泛化能力与性能？
• RQ5 如 MLP 深度与对比损失权重等架构组件如何影响模型性能？

主要发现

• EPCFormer 在 Ref-Youtube-VOS 基准上取得 55.6% 的 J&F 分数，创下 R-VOS 的新最先进水平。
• 在 A-Youtube-VOS 基准上，EPCFormer 取得 53.7% 的 J&F 分数，为目前 A-VOS 报告的最佳性能。
• 采用两层 MLP 和对比损失权重 λ_expr = 1 的模型达到最优性能，优于 1、3 或 4 层的配置。
• 结合音频与文本输入的多任务训练获得最高性能，表明 R-VOS 与 A-VOS 之间存在有效的知识迁移。
• 消融实验确认表达对齐（EA）与表达-视觉注意力（EVA）模块对性能至关重要，相比消融变体有显著提升。
• 当同时使用两种模态时，模型在 J、F 和 J&F 指标上均表现出鲁棒性与泛化能力，持续提升。