[论文解读] CVT-SLR: Contrastive Visual-Textual Transformation for Sign Language Recognition with Variational Alignment

Jiangbin Zheng, Yile Wang+6 more|arXiv (Cornell University)|Mar 10, 2023

Hand Gesture Recognition Systems被引用 4

一句话总结

该论文提出CVT-SLR，一种新颖的单线索手语识别框架，通过变分自编码器（VAE）隐式对齐视觉与文本模态，同时整合完整的预训练语言知识。通过结合对比跨模态对齐损失与视频-词汇适配器，CVT-SLR在PHOENIX-2014和PHOENIX-2014T数据集上实现了最先进性能，尽管其架构更为简单，仍优于现有的单线索与多线索最先进方法。

ABSTRACT

Sign language recognition (SLR) is a weakly supervised task that annotates sign videos as textual glosses. Recent studies show that insufficient training caused by the lack of large-scale available sign datasets becomes the main bottleneck for SLR. Most SLR works thereby adopt pretrained visual modules and develop two mainstream solutions. The multi-stream architectures extend multi-cue visual features, yielding the current SOTA performances but requiring complex designs and might introduce potential noise. Alternatively, the advanced single-cue SLR frameworks using explicit cross-modal alignment between visual and textual modalities are simple and effective, potentially competitive with the multi-cue framework. In this work, we propose a novel contrastive visual-textual transformation for SLR, CVT-SLR, to fully explore the pretrained knowledge of both the visual and language modalities. Based on the single-cue cross-modal alignment framework, we propose a variational autoencoder (VAE) for pretrained contextual knowledge while introducing the complete pretrained language module. The VAE implicitly aligns visual and textual modalities while benefiting from pretrained contextual knowledge as the traditional contextual module. Meanwhile, a contrastive cross-modal alignment algorithm is designed to explicitly enhance the consistency constraints. Extensive experiments on public datasets (PHOENIX-2014 and PHOENIX-2014T) demonstrate that our proposed CVT-SLR consistently outperforms existing single-cue methods and even outperforms SOTA multi-cue methods.

研究动机与目标

• 通过充分利用预训练视觉与语言模型，解决手语识别（SLR）中的数据稀缺瓶颈。
• 用变分自编码器（VAE）替代单线索SLR中传统的上下文模块，实现隐式跨模态对齐并保留完整的预训练语言知识。
• 通过基于对比学习的对齐算法增强显式跨模态一致性，以区分正样本对与负样本对。
• 设计视频-词汇适配器，以在微调过程中最大化保留预训练视觉与语言参数。
• 证明：采用先进跨模态对齐机制的单线索框架，可在手语识别中超越复杂的多线索最先进方法。

提出的方法

• 用基于VAE的模块替代单线索SLR中标准的上下文模块，通过使用预训练语言模型进行伪翻译任务来学习。
• 利用VAE的自编码结构，通过重建输入模态来隐式对齐视觉与文本特征，从而强制模态间的一致性。
• 引入对比跨模态对齐损失，最大化正样本对（视觉-文本特征）之间的相似性，同时最小化负样本对之间的相似性。
• 设计视频-词汇适配器，以微调预训练视觉与语言编码器，而无需更新其原始参数，从而保留知识迁移能力。
• 联合优化模型，结合CTC损失用于序列生成，以及对比对齐损失用于跨模态一致性。
• 应用GradCAM可视化显著性图，分析模型对双手与面部区域的关注程度，验证其与手语语言学原理的一致性。

实验结果

研究问题

• RQ1 基于VAE的模块能否有效替代单线索SLR中标准的上下文模块，同时实现隐式跨模态对齐？
• RQ2 通过VAE整合完整预训练语言模型，是否能相比标准上下文模块显著提升SLR性能？
• RQ3 对比对齐损失能否增强显式跨模态一致性，并带来更高的识别准确率？
• RQ4 所提出的单线索框架是否能在隐式与显式对齐机制下超越多线索最先进方法？
• RQ5 使用预训练视觉与语言模块对训练收敛速度与最终性能有何影响？

主要发现

• CVT-SLR在PHOENIX-2014与PHOENIX-2014T数据集上均达到新的最先进性能，优于现有单线索与多线索方法。
• 消融实验表明，对比对齐损失显著提升性能，最优损失权重为10.0。
• 采用预训练视觉与文本模块的模型收敛更快，训练损失更低，且与更优的WER分数相关。
• 显著性图显示，模型聚焦于关键手语区域——手部与面部，验证了其与语言学原理的一致性。
• 基于VAE的模块整合完整预训练语言知识后，性能优于标准RNN/LSTM模块，证明了先验语言知识的优势。
• 视频-词汇适配器实现了有效微调，同时完整保留了预训练视觉与语言编码器的容量。