[论文解读] American Sign Language fingerspelling recognition in the wild

Bowen Shi, Aurora Martinez Del Rio+5 more|arXiv (Cornell University)|Oct 26, 2018

Hand Gesture Recognition Systems参考文献 34被引用 5

一句话总结

本论文首次研究了在自然发生的在线视频中对美国手语指拼写（ASL fingerspelling）的识别，提出了该任务目前最大的公开可用数据集。通过使用自定义的手部检测器和序列模型——尤其是基于CTC的架构——该方法在低帧率和视觉差异性较大的挑战下实现了42%的字母识别准确率，为未来在真实世界场景下的手语识别研究奠定了基线标准。

ABSTRACT

We address the problem of American Sign Language fingerspelling recognition in the wild, using videos collected from websites. We introduce the largest data set available so far for the problem of fingerspelling recognition, and the first using naturally occurring video data. Using this data set, we present the first attempt to recognize fingerspelling sequences in this challenging setting. Unlike prior work, our video data is extremely challenging due to low frame rates and visual variability. To tackle the visual challenges, we train a special-purpose signing hand detector using a small subset of our data. Given the hand detector output, a sequence model decodes the hypothesized fingerspelled letter sequence. For the sequence model, we explore attention-based recurrent encoder-decoders and CTC-based approaches. As the first attempt at fingerspelling recognition in the wild, this work is intended to serve as a baseline for future work on sign language recognition in realistic conditions. We find that, as expected, letter error rates are much higher than in previous work on more controlled data, and we analyze the sources of error and effects of model variants.

研究动机与目标

• 解决在来自在线来源的自然发生、非受控视频数据中识别美国手语指拼写的挑战。
• 收集并发布目前最大规模的公开真实世界指拼写视频数据集，涵盖高视觉变异性与低帧率特性。
• 开发并评估一种结合专用手语手部检测器与序列模型的识别系统，以实现在非受控条件下具有鲁棒性的性能。
• 为在真实、'野外'条件下进行的手语识别研究建立基线标准。

提出的方法

• 在收集数据的子集上训练一个专用的手语手部检测器，以在复杂且画质低劣的视频帧中定位手部区域。
• 将检测到的手部区域裁剪并按s=1的因子进行上采样，以提高分辨率，之后输入到序列模型中。
• 采用注意力机制编码器-解码器模型和连接时序分类（Connectionist Temporal Classification, CTC）模型两种方式执行序列建模，以从时间序列的手部形状中解码出字母序列。
• 探索将光流作为额外模态输入，但发现其对性能提升不显著，因此未在最终模型中使用。
• 评估基于内部收集的指拼写序列和CMUdict训练的语言模型，以分析其对识别准确率的影响。
• 在验证集上对解码性能进行超参数调优，包括束搜索大小、语言模型权重和插入惩罚。

实验结果

研究问题

• RQ1 当从工作室环境数据转向自然发生的在线视频时，ASL指拼写识别的性能会如何退化？
• RQ2 在画质差、视觉变化大的条件下，专用手部检测器在多大程度上能提升识别准确率？
• RQ3 在这一具有挑战性的野外指拼写识别任务中，CTC模型与注意力机制编码器-解码器模型，哪种序列建模方法表现更优？
• RQ4 识别中的主要错误来源是什么？这些错误在不同字母对和视频质量等级下如何变化？
• RQ5 当在有限的指拼写数据上训练时，语言模型能在多大程度上提升识别准确率？

主要发现

• 基于CTC的模型优于注意力机制编码器-解码器模型，在使用束搜索、插入惩罚和语言模型时，于验证集上达到42.8%的字母准确率。
• 最常见的错误类型是删除，其次是插入；与CTC模型相比，编码器-解码器模型产生更多插入错误而更少删除错误。
• 常见的替换错误多涉及视觉上相似的字母，如（u → r）、（o → e）、（y → i）、（w → u）和（j → i），其中（j → i）可能源于低帧率视频中动态与静态手势的混淆。
• 较低的帧率显著降低识别准确率，随着视频质量下降性能持续下降，凸显了运动模糊与时间分辨率不足的影响。
• 语言模型带来微小但可测量的性能提升，当与束搜索和插入惩罚结合时，准确率提高约1%。
• 光流和帧上采样（s > 1）未带来一致或显著的性能增益，因此在最终模型中未进一步采用。