[论文解读] Continuous Sign Language Recognition with Correlation Network

Lianyu Hu, Liqing Gao+2 more|arXiv (Cornell University)|Mar 6, 2023

Hand Gesture Recognition Systems被引用 7

一句话总结

本文提出CorrNet，一种用于连续手语识别的新颖相关性网络，通过相邻帧之间的动态相关性图显式捕捉跨帧身体轨迹。通过利用相关性模块识别手部和面部运动模式，并通过识别模块突出显著的身体区域，CorrNet在无需额外监督或姿态估计的情况下，在四个主要数据集上实现了最先进性能。

ABSTRACT

Human body trajectories are a salient cue to identify actions in the video. Such body trajectories are mainly conveyed by hands and face across consecutive frames in sign language. However, current methods in continuous sign language recognition (CSLR) usually process frames independently, thus failing to capture cross-frame trajectories to effectively identify a sign. To handle this limitation, we propose correlation network (CorrNet) to explicitly capture and leverage body trajectories across frames to identify signs. In specific, a correlation module is first proposed to dynamically compute correlation maps between the current frame and adjacent frames to identify trajectories of all spatial patches. An identification module is then presented to dynamically emphasize the body trajectories within these correlation maps. As a result, the generated features are able to gain an overview of local temporal movements to identify a sign. Thanks to its special attention on body trajectories, CorrNet achieves new state-of-the-art accuracy on four large-scale datasets, i.e., PHOENIX14, PHOENIX14-T, CSL-Daily, and CSL. A comprehensive comparison with previous spatial-temporal reasoning methods verifies the effectiveness of CorrNet. Visualizations demonstrate the effects of CorrNet on emphasizing human body trajectories across adjacent frames.

研究动机与目标

• 解决现有连续手语识别（CSLR）方法独立处理帧、无法捕捉有意义的跨帧身体轨迹的局限性。
• 显式建模连续帧间手部和面部特征的时序运动模式——这是手语中的关键线索。
• 开发一种轻量级、端到端可训练的框架，通过动态强调信息丰富的身体区域，避免依赖额外监督（如关键点标注或热力图）。
• 通过基于相关性的特征学习聚焦局部时序运动，提升识别准确率。
• 在多样化数据集上展示泛化能力，包括大词汇量和真实世界场景。

提出的方法

• 提出一种相关性模块，计算当前帧与其左右相邻帧之间的动态相关性图，以识别空间块的轨迹。
• 在相关性模块中引入可学习注意力机制，聚焦于手部和面部等信息丰富的区域。
• 引入识别模块，动态突出相关性图中的身体轨迹，强调手部和面部表情等与运动相关的区域。
• 采用轻量级、端到端的训练策略，避免使用姿态估计或热力图等昂贵的监督信号。
• 将相关性模块与识别模块结合于ResNet18主干网络中，提取帧级特征的同时保留时序上下文。
• 使用标准的CTC损失实现弱监督CSLR中的序列级对齐，支持端到端训练。

Figure 1 : Visualization of correlation maps with Grad-CAM [ 40 ] . It’s observed that without extra supervision, our method could well attend to informative regions in adjacent left/right frames to identify human body trajectories.

实验结果

研究问题

• RQ1 建模跨帧身体轨迹是否能提升连续手语识别的准确率？
• RQ2 基于相关性的机制是否能在不依赖额外监督的情况下有效捕捉手部和面部特征的局部时序运动模式？
• RQ3 与使用外部模型提取的手部或面部特征的最先进方法相比，所提出的CorrNet表现如何？
• RQ4 识别模块中的动态注意力机制是否能成功强调手部和面部等与运动相关的身体部位？
• RQ5 该方法是否能在词汇量大小和真实内容各异的多样化数据集上实现良好泛化？

主要发现

• 在PHOENIX14开发集上，CorrNet实现了18.8%的新最先进词错误率（WER），在测试集上达到19.4%，优于先前所有方法，包括使用手部和面部特征的方法。
• 在大词汇量的CSL-Daily数据集上，CorrNet实现了30.1%的WER，显著优于之前的最先进方法，展现出强大的泛化能力。
• 在广泛使用的CSL数据集上，CorrNet实现了0.8%的最先进WER，较之前最佳方法（C²SLR）提升0.1个百分点。
• 使用Grad-CAM生成的可视化结果表明，相关性模块能动态关注相邻帧中移动的身体部位，如手部和面部。
• 识别模块能有效突出手部和面部等显著区域，抑制无关背景区域。
• 即使不使用姿态估计或热力图等额外监督信号，CorrNet仍优于依赖这些监督信号的方法，证明了其高效性与有效性。

Figure 2 : An overview for our CorrNet. It first employs a feature extractor (2D CNN) to capture frame-wise features, and then adopts a 1D CNN and a BiLSTM to perform short-term and long-term temporal modeling, respectively, followed by a classifier to predict sentences. We place our proposed identi