[论文解读] Word separation in continuous sign language using isolated signs and post-processing

Razieh Rastgoo, Kourosh Kiani+1 more|arXiv (Cornell University)|Apr 2, 2022

Hand Gesture Recognition Systems被引用 5

一句话总结

本文提出了一种用于连续手语识别的两阶段框架，利用孤立手语模型和后处理方法检测词边界。在每个类别具有统一帧数的孤立手语上进行训练，该模型采用CNN-SVD-LSTM架构，随后通过基于阈值的后处理步骤识别连续序列中的孤立手语，其在RKS-PERSIANSIGN数据集上的平均Softmax置信度达到98%，在ASLLVD数据集上达到59%。

ABSTRACT

. Continuous Sign Language Recognition (CSLR) is a long challenging task in Computer Vision due to the difficulties in detecting the explicit boundaries between the words in a sign sentence. To deal with this challenge, we propose a two-stage model. In the first stage, the predictor model, which includes a combination of CNN, SVD, and LSTM, is trained with the isolated signs. In the second stage, we apply a post-processing algorithm to the Softmax outputs obtained from the first part of the model in order to separate the isolated signs in the continuous signs. While the proposed model is trained on the isolated sign classes with similar frame numbers, it is evaluated on the continuous sign videos with a different frame length per each isolated sign class. Due to the lack of a large dataset, including both the sign sequences and the corresponding isolated signs, two public datasets in Isolated Sign Language Recognition (ISLR), RKS-PERSIANSIGN and ASLLVD, are used for evaluation. Results of the continuous sign videos confirm the efficiency of the proposed model to deal with isolated sign boundaries detection.

研究动机与目标

• 为解决在连续手语视频中检测孤立手语之间显式边界的挑战。
• 在缺乏大规模连续手语数据集的情况下，实现从孤立手语识别（ISLR）到连续手语识别（CSLR）的迁移学习。
• 开发一种轻量级的后处理解决方案，通过Softmax输出阈值提高手语边界检测性能。
• 通过从孤立视频中人工构建连续手语序列，在真实世界的ISLR数据集（RKS-PERSIANSIGN和ASLLVD）上评估模型性能。
• 通过在无任何符号类别置信度超过预设阈值时分配'Blank'标签，减少误识别。

提出的方法

• 在每个类别具有固定帧数的孤立手语视频上训练CNN-SVD-LSTM混合模型。
• 应用Softmax层，为连续手语序列中每个时间帧生成类别概率。
• 实施后处理算法，设定置信度阈值为0.51以确定有效手语检测。
• 利用该阈值抑制低置信度预测，将其标记为'Blank'而非错误的手语类别。
• 通过拼接来自不同类别的、长度各异的未经处理的孤立手语视频，构建连续手语视频。
• 在RKS-PERSIANSIGN的100个连续手语视频和ASLLVD的7个连续手语视频上评估模型，以平均Softmax输出作为性能指标。

实验结果

研究问题

• RQ1 在孤立手语上训练的模型是否能泛化到连续手语序列中检测手语边界？
• RQ2 在连续手语识别中，使用置信度阈值进行后处理在减少误检手语方面有多有效？
• RQ3 当缺乏大规模连续手语数据集时，从ISLR到CSLR的迁移学习是否能提升性能？
• RQ4 在每类手语样本数量不同的数据集中，模型性能如何变化？
• RQ5 类间相似性（如'Excuse'与'Congratulation'）在多大程度上影响连续手语序列中的识别可靠性？

主要发现

• 所提方法在RKS-PERSIANSIGN数据集上实现了0.98的平均Softmax输出置信度，表明手语检测具有高度可靠性。
• 在ASLLVD数据集上，平均Softmax置信度为0.59，由于每类样本较少，置信度较低。
• 通过后处理步骤，误检手语被有效抑制，所有错误预测的Softmax输出均低于0.51的阈值。
• 尽管各类手语的帧长存在差异，模型仍能成功识别连续序列中的孤立手语。
• 视觉上高度相似的手语（如'Fight'和'Competition'）仍具挑战性，表明需要更多样化的训练样本。
• 该框架在仅使用孤立手语数据的情况下，展示了在真实场景中的可行性，即使没有显式的连续手语标注。