[论文解读] Multi-Modal Zero-Shot Sign Language Recognition

Razieh Rastgoo, Kourosh Kiani+2 more|arXiv (Cornell University)|Sep 2, 2021

Hand Gesture Recognition Systems参考文献 39被引用 4

一句话总结

该论文提出了一种多模态、混合特征、基于嵌入的零样本手语识别模型，通过自编码器和LSTM融合C3D的深层特征与基于骨架的特征（距离、角度、SVD），并将它们映射到BERT嵌入的类别标签。该模型在四个大规模数据集上实现了最先进性能，通过多模态融合展现出鲁棒性，并在无需未见类别视觉样本标注的情况下有效处理未见手语类别。

ABSTRACT

Zero-Shot Learning (ZSL) has rapidly advanced in recent years. Towards overcoming the annotation bottleneck in the Sign Language Recognition (SLR), we explore the idea of Zero-Shot Sign Language Recognition (ZS-SLR) with no annotated visual examples, by leveraging their textual descriptions. In this way, we propose a multi-modal Zero-Shot Sign Language Recognition (ZS-SLR) model harnessing from the complementary capabilities of deep features fused with the skeleton-based ones. A Transformer-based model along with a C3D model is used for hand detection and deep features extraction, respectively. To make a trade-off between the dimensionality of the skeletonbased and deep features, we use an Auto-Encoder (AE) on top of the Long Short Term Memory (LSTM) network. Finally, a semantic space is used to map the visual features to the lingual embedding of the class labels, achieved via the Bidirectional Encoder Representations from Transformers (BERT) model. Results on four large-scale datasets, RKS-PERSIANSIGN, First-Person, ASLVID, and isoGD, show the superiority of the proposed model compared to state-of-the-art alternatives in ZS-SLR.

研究动机与目标

• 通过在无需任何未见类别视觉样本标注的情况下实现零样本识别，解决手语识别中的标注瓶颈问题。
• 通过利用互补的多模态输入（RGB视频、3D骨架和文本描述）提升手语识别的鲁棒性与泛化能力。
• 开发一种混合特征表示方法，结合手工设计的骨架特征（距离、角度、SVD）与C3D网络的深层特征。
• 通过在LSTM编码器之上使用自编码器，实现视觉特征的特征维度平衡与表征学习。
• 将视觉特征映射到与BERT嵌入类别标签对齐的共享语义空间，以实现零样本泛化。

提出的方法

• 配置基于Transformer的模型以实现实时、准确的手部检测，提升手语识别的输入质量。
• 使用预训练的C3D 3D卷积神经网络从RGB视频中提取深层特征，同时从3D姿态数据中计算骨架特征（距离、关节角度、关节位置的SVD）。
• 对LSTM编码的深层特征应用自编码器，以降低维度并平衡与骨架特征的特征空间。
• 通过对比学习目标，将融合后的视觉特征（深层 + 骨架）投影到与BERT嵌入类别标签对齐的共享语义空间。
• 模型采用多模态输入流程，集成RGB视频、3D骨架序列和手语标签的文本描述，以实现零样本泛化。
• 采用两阶段评估协议，在四个大规模数据集（RKS-PERSIANSIGN、First-Person、ASLVID和isoGD）上验证未见手语类别的性能。

实验结果

研究问题

• RQ1 多模态、混合特征方法是否通过融合深层特征与基于骨架的特征，能够提升零样本手语识别性能？
• RQ2 使用BERT嵌入的文本描述将视觉特征映射到共享语义空间，在零样本泛化中是否有效？
• RQ3 集成基于Transformer的手部检测模型是否能提升低资源环境下手语识别的鲁棒性与准确性？
• RQ4 通过自编码器实现特征维度平衡在零样本手语识别中在多大程度上提升了模型性能与泛化能力？
• RQ5 在多样化的手语数据集上，该模型在零样本准确率与鲁棒性方面与最先进方法相比表现如何？

主要发现

• 所提模型在四个大规模手语数据集（RKS-PERSIANSIGN、First-Person、ASLVID和isoGD）上实现了最先进性能，优于现有SOTA方法在零样本手语识别中的表现。
• 模型通过仅使用文本描述而无需训练期间的任何未见手语类别视觉样本，展现出卓越的泛化能力。
• 深层特征（C3D）与基于骨架的特征（距离、角度、SVD）的融合显著提升了识别准确率，尤其在复杂或模糊的手语类别中表现更优。
• 使用自编码器平衡深层特征与骨架特征的维度，带来了更稳定且高效的特征表征学习。
• 在RKS-PERSIANSIGN数据集上，模型识别准确率更高（每类平均准确率 >0.7），而“Sister”与“Brother”、“Alligator”与“Sailboat”等相似手语常成为误分类的主要来源。
• 通过利用多模态互补性，减少了误报：当某一模态失效时，其他模态可进行补偿，从而提升整体鲁棒性并降低对任一特征类型的偏差。