[论文解读] Deep Learning on Lie Groups for Skeleton-based Action Recognition

Zhiwu Huang, Chengde Wan+2 more|arXiv (Cornell University)|Dec 18, 2016

Human Pose and Action Recognition参考文献 40被引用 12

一句话总结

本文提出 LieNet，一种将李群结构融入深度学习的深度神经网络架构，用于基于骨架的动作识别。通过采用旋转映射层对齐时序特征、旋转池化层降低维度，以及对数映射层将数据投影到切空间，LieNet 在标准 3D 动作识别基准上实现了最先进性能，优于浅层李群方法和众多传统深度学习模型。

ABSTRACT

In recent years, skeleton-based action recognition has become a popular 3D classification problem. State-of-the-art methods typically first represent each motion sequence as a high-dimensional trajectory on a Lie group with an additional dynamic time warping, and then shallowly learn favorable Lie group features. In this paper we incorporate the Lie group structure into a deep network architecture to learn more appropriate Lie group features for 3D action recognition. Within the network structure, we design rotation mapping layers to transform the input Lie group features into desirable ones, which are aligned better in the temporal domain. To reduce the high feature dimensionality, the architecture is equipped with rotation pooling layers for the elements on the Lie group. Furthermore, we propose a logarithm mapping layer to map the resulting manifold data into a tangent space that facilitates the application of regular output layers for the final classification. Evaluations of the proposed network for standard 3D human action recognition datasets clearly demonstrate its superiority over existing shallow Lie group feature learning methods as well as most conventional deep learning methods.

研究动机与目标

• 解决浅层李群特征学习方法在处理基于骨架的动作识别中时序错位和高维特征时的局限性。
• 开发一种内在融合李群几何结构的深度网络架构，以实现更有效的表征学习。
• 通过专用层将深度学习扩展至黎曼空间，实现在非欧几里得流形上的端到端训练。
• 通过利用骨骼运动轨迹的内在几何特性，提升标准 3D 动作识别数据集上的分类准确率。

提出的方法

• 引入旋转映射层，将输入的李群特征转换为时序域中对齐更优的表示，减轻速度变化的影响。
• 采用旋转池化层，通过流形上的空间与时间组合方式，降低高维李群特征的维度。
• 应用对数映射层，将流形结构的特征投影到切空间，从而支持使用标准全连接层和 Softmax 输出层。
• 使用一种适配李群的随机梯度下降变体，实现黎曼流形上反向传播与端到端训练。
• 设计模块化网络结构，通过堆叠块（RotMap、Pooling、LogMap）逐步学习李群上的分层表征。
• 通过确保所有操作与底层流形的非欧几里得几何保持一致，实现黎曼计算。

实验结果

研究问题

• RQ1 深度学习能否被有效扩展至非欧几里得李群流形，用于基于骨架的动作识别？
• RQ2 在基于李群几何的深度学习框架中，如何缓解骨骼序列中的时序错位（速度变化）问题？
• RQ3 通过流形感知的池化与映射操作降低高维李群特征，对分类准确率有何影响？
• RQ4 所提出的 LieNet 架构与浅层李群方法及传统深度学习模型在标准基准上的表现相比如何？
• RQ5 一种保留骨骼运动轨迹几何结构的深度网络能否在 3D 动作识别中实现更优性能？

主要发现

• LieNet-3Blocks 在 NTU RGB+D 数据集的跨被试协议上达到 61.37% 的准确率，在跨视角协议上达到 66.95%，优于浅层李群方法 SE 和 SO。
• LieNet 的性能随网络深度增加而提升，表明堆叠模块可增强李群上的表征学习能力。
• LieNet 与 SOTA 深度学习模型（如 PA-LSTM 和 ST-LSTM）相比表现具有竞争力，尤其在空间特征学习方面。
• LieNet 的训练收敛稳定，在 G3D-Gaming 数据集上 100 个周期后即达到稳定解。
• 模型所需内存适中（1.1–1.4 GB），推理时间合理（3–86 分钟），通过 GPU 实现可获得显著加速。
• 可视化结果表明，网络学习到了有意义且结构化的表征，与骨骼运动的内在几何特性一致。