[论文解读] Covariance of Motion and Appearance Featuresfor Spatio Temporal Recognition Tasks

Subhabrata Bhattacharya, Nasim Souly+1 more|arXiv (Cornell University)|Jun 16, 2016

Human Pose and Action Recognition参考文献 13被引用 5

一句话总结

本文提出了一种新型视频描述符，通过使用时空特征的协方差矩阵捕捉运动与外观特征的联合统计特性，实现了鲁棒的人体动作与手势识别。通过采用二阶统计建模并结合黎曼流形上的稀疏编码，该方法在一次学习手势识别任务中达到最先进性能，在CGD 2011数据集上实现了74.3%的平均准确率，优于HOG-HOF、MBH和STIP基线方法。

ABSTRACT

In this paper, we introduce an end-to-end framework for video analysis focused towards practical scenarios built on theoretical foundations from sparse representation, including a novel descriptor for general purpose video analysis. In our approach, we compute kinematic features from optical flow and first and second-order derivatives of intensities to represent motion and appearance respectively. These features are then used to construct covariance matrices which capture joint statistics of both low-level motion and appearance features extracted from a video. Using an over-complete dictionary of the covariance based descriptors built from labeled training samples, we formulate low-level event recognition as a sparse linear approximation problem. Within this, we pose the sparse decomposition of a covariance matrix, which also conforms to the space of semi-positive definite matrices, as a determinant maximization problem. Also since covariance matrices lie on non-linear Riemannian manifolds, we compare our former approach with a sparse linear approximation alternative that is suitable for equivalent vector spaces of covariance matrices. This is done by searching for the best projection of the query data on a dictionary using an Orthogonal Matching pursuit algorithm. We show the applicability of our video descriptor in two different application domains - namely low-level event recognition in unconstrained scenarios and gesture recognition using one shot learning. Our experiments provide promising insights in large scale video analysis.

研究动机与目标

• 解决现有动作识别方法将运动与外观特征独立处理所导致的联合统计关系丢失问题。
• 开发一种统一的视频描述符，捕捉低层次运动与外观特征之间的协方差，以提升判别能力。
• 通过构建适用于黎曼流形上稀疏表示的判别性强、紧凑的描述符，实现有效的一次学习手势识别。
• 通过在对称正定矩阵流形上形式化稀疏逼近，克服协方差矩阵处理中的计算与几何挑战。
• 在大规模视频分析中验证所提描述符的有效性，特别是在训练数据有限的场景下。

提出的方法

• 从光流中提取运动特征（kinematic features），从一阶和二阶强度导数中提取外观特征，每个像素点均进行处理。
• 利用这些16维特征向量，为每个视频片段构建16×16的协方差矩阵，以捕捉运动与外观的联合二阶统计特性。
• 将协方差矩阵的上三角部分取对数后，作为每个片段的136维描述符。
• 在对称正定矩阵的黎曼流形上，通过行列式最大化（MAXDET优化）将分类问题形式化为稀疏逼近问题。
• 与基于向量空间的替代方法进行比较，后者使用正交匹配追踪（OMP）将查询协方差矩阵投影到训练描述符字典上。
• 采用片段级投票策略进行最终的视频级分类，使用最近邻或基于稀疏编码的推理方法。

实验结果

研究问题

• RQ1 通过协方差矩阵表示的运动与外观特征的联合统计特性，是否能相比独立特征融合，在人体动作与手势识别中提升性能？
• RQ2 所提出的协方差描述符在仅提供每个手势类别单个训练样本的一次学习场景中，效果如何？
• RQ3 在对称正定矩阵的黎曼流形上建模协方差矩阵，是否相比标准向量空间稀疏编码能带来更好的分类性能？
• RQ4 运动、强度梯度与位置特征的不同组合如何影响描述符的判别能力？
• RQ5 所提出的描述符是否能在多样化的、非受限的视频数据集中实现良好泛化，且在每类数据极少的情况下表现良好？

主要发现

• 所提出的LCOV描述符在CGD 2011一次学习手势识别基准上实现了74.3%的平均准确率，显著优于MBH（66.7%）、STIP（25.0%）和TPM（34.7%）等基线方法。
• 融合运动特征与强度梯度及位置信息后，识别准确率相比仅使用运动特征提升了11%，证明了多模态特征融合的重要性。
• 在多个开发集批次（如Devel05）中，该方法实现了高达100%的准确率，表明在极小训练数据条件下具备强大的泛化能力。
• 可视化结果表明，与HOG-HOF相比，所提描述符在三维空间中形成更清晰、更易分离的聚类，显示出更强的判别能力。
• 采用MAXDET优化的黎曼稀疏编码方法相比向量空间中的OMP替代方案表现更优，验证了基于流形形式化的几何合理性。
• 混淆矩阵显示，在10个开发批次中均保持一致的高性能，关键手势类别识别准确率高，证实了在真实场景中的鲁棒性与可靠性。