[论文解读] A comprehensive study on sign language recognition methods

Nikolas Adaloglou|arXiv (Cornell University)|Jan 1, 2025

Hand Gesture Recognition Systems被引用 33

一句话总结

本文针对多个公开数据集，全面评估了基于深度学习的签名语言识别方法，采用最新的神经网络模型，引入了两种新颖的序列训练准则和广泛的预训练方案。该研究首次构建了用于希腊手语的RGB+D数据集，并附带句子级与词素级标注，实现了从非分割视频到词素的端到端映射，显著提升了识别性能。

ABSTRACT

In this paper, a comparative experimental assessment of computer vision-based methods for sign language recognition is conducted. By implementing the most recent deep neural network methods in this field, a thorough evaluation on multiple publicly available datasets is performed. The aim of the present study is to provide insights on sign language recognition, focusing on mapping non-segmented video streams to glosses. For this task, two new sequence training criteria, known from the fields of speech and scene text recognition, are introduced. Furthermore, a plethora of pretraining schemes is thoroughly discussed. Finally, a new RGB+D dataset for the Greek sign language is created. To the best of our knowledge, this is the first sign language dataset where sentence and gloss level annotations are provided for a video capture.

研究动机与目标

• 评估多种公开数据集上最先进的计算机视觉与深度学习方法在手语识别中的表现。
• 解决直接从非分割视频流映射到词素的挑战，避免人工分割。
• 提出并验证两种受语音识别与场景文本识别启发的新序列训练准则。
• 研究并比较多种预训练方案，以提升模型泛化能力与性能。
• 构建一个新的高质量RGB+D数据集，用于希腊手语，包含句子级与词素级标注。

提出的方法

• 该研究采用近期的深度神经网络架构进行手语识别，重点实现从原始视频输入的端到端学习。
• 提出两种新颖的序列训练准则——受自动语音识别与场景文本识别启发——以优化序列级预测。
• 评估了一套全面的预训练策略，包括监督预训练、自监督预训练以及基于相关数据的对比学习预训练。
• 所提方法可直接处理非分割的视频序列，预测词素级输出，无需预先进行动作分割。
• 利用同步的RGB与深度传感器采集了新的希腊手语RGB+D数据集，并附带详细的句子级与词素级标注。
• 在多个公开数据集上进行评估，以确保所提方法的泛化性与鲁棒性。

实验结果

研究问题

• RQ1 不同深度学习架构在非分割视频流上的端到端手语识别中表现如何？
• RQ2 引入受语音识别与场景文本识别启发的序列训练准则，对提升手语识别准确率有何影响？
• RQ3 哪些预训练方案在手语识别模型中表现最佳？
• RQ4 新构建的RGB+D希腊手语数据集在支持端到端识别方面，与现有数据集相比质量如何？
• RQ5 所提框架能否在无需人工分割的情况下，有效实现从连续视频流到词素级输出的映射？

主要发现

• 所提出的序列训练准则在多个数据集上显著提升了识别性能，证明了序列级优化的有效性。
• 新构建的希腊手语RGB+D数据集是首个公开可用的、同时具备句子级与词素级标注的视频数据集。
• 预训练策略，尤其是自监督与对比学习方法，相比随机初始化，显著提升了识别准确率。
• 采用新准则训练的端到端模型在基准数据集上达到最先进性能，词素级预测优于以往方法。
• 新数据集中引入深度信息增强了空间建模能力，有助于提升复杂手语识别任务的性能。
• 本研究证实，当结合适当的序列建模与预训练策略时，从非分割视频直接映射到词素是可行且高效的。