[论文解读] Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition

Shujian Liao, Terry Lyons+3 more|arXiv (Cornell University)|Oct 25, 2021

Human Pose and Action Recognition参考文献 59被引用 11

一句话总结

本文提出Logsig-RNN，一种新颖的神经网络模块，通过将对数签名表征与循环网络相结合，以提升基于骨架的动作识别性能。该方法利用对数签名在可变长度、非均匀时间序列上的数学稳健性，并引入路径变换层以降低维度，从而在Chalearn2013和NTU RGB+D 120数据集上实现最先进准确率，同时增强了对缺失数据的鲁棒性并降低了计算成本。

ABSTRACT

This paper contributes to the challenge of skeleton-based human action recognition in videos. The key step is to develop a generic network architecture to extract discriminative features for the spatio-temporal skeleton data. In this paper, we propose a novel module, namely Logsig-RNN, which is the combination of the log-signature layer and recurrent type neural networks (RNNs). The former one comes from the mathematically principled technology of signatures and log-signatures as representations for streamed data, which can manage high sample rate streams, non-uniform sampling and time series of variable length. It serves as an enhancement of the recurrent layer, which can be conveniently plugged into neural networks. Besides we propose two path transformation layers to significantly reduce path dimension while retaining the essential information fed into the Logsig-RNN module. Finally, numerical results demonstrate that replacing the RNN module by the Logsig-RNN module in SOTA networks consistently improves the performance on both Chalearn gesture data and NTU RGB+D 120 action data in terms of accuracy and robustness. In particular, we achieve the state-of-the-art accuracy on Chalearn2013 gesture data by combining simple path transformation layers with the Logsig-RNN. Codes are available at https://github.com/steveliao93/GCN_LogsigRNN.

研究动机与目标

• 解决从可变长度和非均匀采样骨架序列中提取判别性时空特征的挑战。
• 提升在基于骨架动作识别中对缺失数据的鲁棒性，并降低计算成本。
• 开发一种即插即用的神经模块，可在不进行架构大规模重构的情况下增强现有SOTA网络。
• 通过使用数学上严谨的时间序列表征，在基准数据集上实现最先进性能。

提出的方法

• 提出Logsig-RNN模块，将对数签名层与RNN结合，以高效表征复杂、高维时间序列数据。
• 采用路径变换层——嵌入层和图卷积层——在保留关键关节点和身体部位信息的同时降低空间维度。
• 对时间序列应用对数签名变换，实现降维并增强对缺失或非均匀采样数据的鲁棒性。
• 使用iisignature和signatory包在PyTorch和TensorFlow中实现可微分的对数签名计算，支持反向传播通过时间。
• 引入辅助层，如累积层和时间融合层，通过捕捉二次变差和速度信息以增强特征学习。
• 设计可堆叠、模块化的架构（PT-Logsig-RNN），可无缝集成至现有的GCN或RNN-based动作识别框架中。

实验结果

研究问题

• RQ1 对数签名表征是否能提升在可变长度和非均匀采样序列下基于骨架动作识别的鲁棒性与效率？
• RQ2 路径变换层的集成如何影响Logsig-RNN模块的性能与泛化能力？
• RQ3 Logsig-RNN在真实世界骨架数据集上，相较于标准RNN和SOTA模型，在准确率与鲁棒性方面提升的幅度有多大？
• RQ4 对数签名层是否能有效处理缺失数据，而无需填充或重采样？
• RQ5 所提出的模块是否在减少输入RNN的时间步数的同时保持高性能，从而降低计算成本？

主要发现

• Logsig-RNN模块在Chalearn2013手势识别数据集上实现了最先进准确率，优于现有SOTA方法。
• 在NTU RGB+D 120数据集上，用Logsig-RNN替代标准RNN可一致提升识别准确率与鲁棒性。
• 对数签名表征显著减少了输入RNN的时间步数，大幅降低训练成本与内存使用。
• 该方法对缺失数据表现出强鲁棒性，即使从序列中删除最多16个关键点，对数签名特征的平均绝对相对误差仍低于6%。
• 路径变换层，特别是嵌入与GCN的结合，能有效降低维度，同时保留关键的时空信息。
• 消融实验确认，累积层与时间融合层均通过捕捉高阶统计量与运动速度信息，对性能提升有显著贡献。