[论文解读] Deep manifold-to-manifold transforming network for action recognition

Tong Zhang, Wenming Zheng+2 more|arXiv (Cornell University)|May 30, 2017

Human Pose and Action Recognition参考文献 2被引用 3

一句话总结

该论文提出了一种端到端的深度学习框架——深度流形到流形变换网络（DMT-Net），用于将对称正定（SPD）矩阵从一个黎曼流形映射到更具判别性的流形，以实现动作识别。该方法引入了新型网络层——局部SPD卷积层、非线性SPD激活层以及流形保持递归层，且无需使用奇异值分解（SVD）即可保持SPD结构，从而在动作识别基准上实现了最先进性能。

ABSTRACT

Symmetric positive definite (SPD) matrices (e.g., covariances, graph Laplacians, etc.) are widely used to model the relationship of spatial or temporal domain. Nevertheless, SPD matrices are theoretically embedded on Riemannian manifolds. In this paper, we propose an end-to-end deep manifold-to-manifold transforming network (DMT-Net) which can make SPD matrices flow from one Riemannian manifold to another more discriminative one. To learn discriminative SPD features characterizing both spatial and temporal dependencies, we specifically develop three novel layers on manifolds: (i) the local SPD convolutional layer, (ii) the non-linear SPD activation layer, and (iii) the Riemannian-preserved recursive layer. The SPD property is preserved through all layers without any requirement of singular value decomposition (SVD), which is often used in the existing methods with expensive computation cost. Furthermore, a diagonalizing SPD layer is designed to efficiently calculate the final metric for the classification task. To evaluate our proposed method, we conduct extensive experiments on the task of action recognition, where input signals are popularly modeled as SPD matrices. The experimental results demonstrate that our DMT-Net is much more competitive over state-of-the-art.

研究动机与目标

• 解决从嵌入在黎曼流形中的SPD矩阵中学习判别性特征以用于动作识别的挑战。
• 克服现有SPD深度学习方法中基于SVD操作的高计算成本问题。
• 通过在黎曼流形上使用递归层，有效建模动作序列中的时序动态。
• 设计高效的度量计算方法用于分类，避免依赖昂贵的矩阵对数或SVD运算。
• 构建一个统一的、端到端可训练的网络，确保所有层均保持SPD结构，以提升表征学习能力。

提出的方法

• 提出一种局部SPD卷积层，通过理论证明约束滤波器为SPD矩阵，从而确保流形保持。
• 引入一种基于逐元素运算（如exp、sinh、cosh）的非线性SPD激活层，避免使用SVD，并通过Schur积定理保持SPD结构。
• 设计一种受GRU启发的流形保持递归层，其中所有操作（双线性投影、激活、Hadamard积）均被证明可保持SPD性质。
• 引入一种对角化SPD层，将SPD矩阵转换为对角形式，以实现无需SVD的高效Log-Euclidean度量计算。
• 采用流形到流形的变换策略，使SPD特征可在多个黎曼流形间流动，从而增强判别能力。
• 将所有组件整合为一个端到端深度网络，联合训练用于动作识别，且在每个阶段均具备SPD保持的理论保证。

实验结果

研究问题

• RQ1 如何在保持其黎曼流形结构的前提下，对SPD矩阵执行局部卷积滤波？
• RQ2 能否设计出无需SVD或矩阵对数运算的SPD矩阵非线性激活函数？
• RQ3 如何将递归学习推广至黎曼流形，以建模动作序列中的时序依赖关系？
• RQ4 能否在不依赖计算成本高昂的SVD或矩阵对数运算的前提下，实现SPD矩阵的高效度量计算？
• RQ5 与现有SOTA方法相比，流形到流形的深度网络在多大程度上提升了动作识别性能？

主要发现

• DMT-Net在多个动作识别基准上实现了SOTA性能，优于现有SOTA方法。
• 所提出的局部SPD卷积层保持了黎曼流形结构，并在无需SVD的情况下实现了有效的局部特征学习。
• 非线性SPD激活层通过使用逐元素运算避免了SVD，并借助Schur积定理保持了SPD性质。
• 流形保持递归层成功建模了动作序列中的长程时序依赖关系，同时在时间步之间保持了SPD结构。
• 对角化SPD层实现了高效的Log-Euclidean度量计算，在降低计算成本的同时保持了分类精度。
• 大量实验表明，DMT-Net在各类数据集上均持续优于先前方法，验证了其鲁棒性与泛化能力。