[论文解读] Associated Spatio-Temporal Capsule Network for Gait Recognition

Aite Zhao, Junyu Dong+3 more|arXiv (Cornell University)|Jan 7, 2021

Gait Recognition and Analysis参考文献 37被引用 9

一句话总结

该论文提出了一种关联时空胶囊网络（ASTCapsNet），用于多模态步态识别，通过新型循环记忆单元进行时空特征提取，并结合关系层，随后通过动态路由和贝叶斯决策实现。该模型在基准步态数据集上实现了最高达99.69%的准确率，展现出在识别正常与病理步态方面的卓越性能。

ABSTRACT

It is a challenging task to identify a person based on her/his gait patterns. State-of-the-art approaches rely on the analysis of temporal or spatial characteristics of gait, and gait recognition is usually performed on single modality data (such as images, skeleton joint coordinates, or force signals). Evidence has shown that using multi-modality data is more conducive to gait research. Therefore, we here establish an automated learning system, with an associated spatio-temporal capsule network (ASTCapsNet) trained on multi-sensor datasets, to analyze multimodal information for gait recognition. Specifically, we first design a low-level feature extractor and a high-level feature extractor for spatio-temporal feature extraction of gait with a novel recurrent memory unit and a relationship layer. Subsequently, a Bayesian model is employed for the decision-making of class labels. Extensive experiments on several public datasets (normal and abnormal gait) validate the effectiveness of the proposed ASTCapsNet, compared against several state-of-the-art methods.

研究动机与目标

• 解决现有步态识别方法仅孤立关注空间或时间特征的局限性。
• 开发一种端到端深度学习模型，能够联合建模步态序列中的空间、时间与结构关系。
• 通过基于胶囊的架构，利用多模态传感器数据（如RGB、骨骼、深度）提升步态识别性能。
• 在包含正常与病理步态的多样化公开步态数据集上，评估所提出模型的有效性。
• 探索未来在跨视角识别以及无监督/半无监督学习在步态分析中的扩展应用。

提出的方法

• 低层次特征提取器采用一种新型可扩展循环记忆单元与卷积层，以捕捉步态序列中的时空动态特性。
• 高层次特征提取器采用主胶囊层、用于胶囊间注意力的关系层，以及具有动态路由机制的数字胶囊层，以建模身体各部分之间的层次化关系。
• 关系层计算胶囊之间的交互作用，以编码身体各部分之间的结构依赖关系，从而提升特征表示能力。
• 在决策层集成贝叶斯模型，以评估特征质量并提升分类置信度。
• 在不同网络层使用四个Softmax分类器，并通过联合损失优化实现整个网络的端到端训练。
• 应用t-SNE可视化技术，评估降维后特征的聚类效果与可分性。

实验结果

研究问题

• RQ1 胶囊网络能否在保留身体各部分之间结构关系的前提下，有效建模步态序列中的空间与时间特征？
• RQ2 循环记忆单元与关系层的集成在多模态步态识别中如何改善特征表示？
• RQ3 所提出的ASTCapsNet在多样化步态数据集上相较于现有最先进方法的性能提升程度如何？
• RQ4 ASTCapsNet学习到的低层次与高层次特征在判别能力与类别可分性方面有何差异？
• RQ5 ASTCapsNet在跨视角识别与无监督/半无监督学习场景下，可能有哪些潜在改进空间？

主要发现

• ASTCapsNet在CASIA步态数据集上实现了最高99.69%的分类准确率，优于现有最先进方法。
• 在UNITO数据集上，该模型达到99.65%的准确率，表明其在不同步态数据源上具有强大的泛化能力。
• 经过t-SNE降维后，ASTCapsNet提取的高层次特征展现出清晰的类别边界与高类内紧凑性，表明其具备有效的判别性学习能力。
• Softmax层4（聚合了所有先前层的特征）表现最佳，证实了深层、层次化表征的重要性。
• 关系层显著提升了模型性能，Softmax 3的优异结果验证了其在建模部件间关系中的关键作用。
• 贝叶斯决策层增强了模型置信度并提升了特征质量评估能力，从而提高了整体分类鲁棒性。