[论文解读] Mix Dimension in Poincaré Geometry for 3D Skeleton-based Action Recognition

Wei Peng, Jingang Shi+2 more|arXiv (Cornell University)|Jul 30, 2020

Human Pose and Action Recognition参考文献 45被引用 4

一句话总结

该论文提出了一种新颖的时空图卷积网络（ST-GCN），通过利用双曲几何（Poincaré几何）来更有效地建模基于3D骨骼的动作识别，相较于欧氏空间具有优势。通过将图嵌入投影到双曲流形，并在各层间混合维度，该方法在NTU RGB+D和NTU RGB+D 120数据集上实现了最先进（SOTA）的准确率，且模型参数量仅为先前最优方法的40%。

ABSTRACT

Graph Convolutional Networks (GCNs) have already demonstrated their powerful ability to model the irregular data, e.g., skeletal data in human action recognition, providing an exciting new way to fuse rich structural information for nodes residing in different parts of a graph. In human action recognition, current works introduce a dynamic graph generation mechanism to better capture the underlying semantic skeleton connections and thus improves the performance. In this paper, we provide an orthogonal way to explore the underlying connections. Instead of introducing an expensive dynamic graph generation paradigm, we build a more efficient GCN on a Riemann manifold, which we think is a more suitable space to model the graph data, to make the extracted representations fit the embedding matrix. Specifically, we present a novel spatial-temporal GCN (ST-GCN) architecture which is defined via the Poincaré geometry such that it is able to better model the latent anatomy of the structure data. To further explore the optimal projection dimension in the Riemann space, we mix different dimensions on the manifold and provide an efficient way to explore the dimension for each ST-GCN layer. With the final resulted architecture, we evaluate our method on two current largest scale 3D datasets, i.e., NTU RGB+D and NTU RGB+D 120. The comparison results show that the model could achieve a superior performance under any given evaluation metrics with only 40\% model size when compared with the previous best GCN method, which proves the effectiveness of our model.

研究动机与目标

• 为解决欧氏空间在建模动作识别中层次化、非欧几里得图结构骨骼数据时的局限性。
• 探索更合适的黎曼流形——特别是Poincaré几何——以学习更能反映骨骼数据内在拓扑结构的图表示。
• 开发一种高效方法，用于在双曲空间中确定各层的最优投影维度，以增强特征判别能力。
• 在保持更小模型尺寸的前提下，实现优于现有最先进图卷积网络（GCN）方法的性能。

提出的方法

• 将节点特征和图嵌入投影到Poincaré流形上，以利用其固有的层次化和树状结构，实现更优的表示学习。
• 使用切空间投影执行卷积操作，通过切空间与流形之间的双射关系，在双曲几何中实现可微操作。
• 引入一种维度混合策略，以探索双曲空间中各层的最优嵌入维度，提升模型的适应性与性能。
• 构建一种时空GCN架构，其中空间卷积在Poincaré流形上定义，随后进行时间维度的一维卷积。
• 采用投影回路机制，在每层计算后保持特征位于流形上，以保留几何结构。
• 在NTU RGB+D和NTU RGB+D 120数据集上，使用3D骨骼序列对模型进行评估。

实验结果

研究问题

• RQ1 Poincaré几何是否能为动作识别中的3D骨骼图序列建模提供比欧氏空间更有效的流形？
• RQ2 如何为双曲图网络中的每一层选择最优维度，以提升表示学习性能？
• RQ3 基于Poincaré的ST-GCN是否能在保持更小模型尺寸的同时，优于现有的GCN方法并实现更高的准确率？
• RQ4 所提出的方法是否能在大规模数据集的不同评估协议（X-subject、X-view、X-setup）下实现良好的泛化能力？

主要发现

• 在NTU RGB+D数据集的X-subject评估下，所提出的Poincaré-ST-GCN实现了89.7%的准确率，超过先前最优方法NAS-GCN（89.4%）。
• 在NTU RGB+D 120数据集上，模型在X-setup设置下达到83.2%的准确率，在X-subject设置下达到80.5%，分别优于先前最优的GCN方法4.3%和2.8%。
• 模型参数量减少至先前最优方法（NAS-GCN）的40%，在不损失准确率的前提下实现了显著的效率提升。
• 维度混合策略有效探索了各层的最优投影维度，增强了特征判别能力。
• Poincaré几何的使用带来了更具区分度的表示，这在大规模数据集上的性能提升中得到验证。
• 该方法与动态图生成机制正交，提供了一种互补方法，在不通过动态边学习增加计算复杂度的前提下提升性能。