[论文解读] 3DV: 3D Dynamic Voxel for Action Recognition in Depth Video

Yancheng Wang, Yang Xiao+5 more|arXiv (Cornell University)|May 12, 2020

Human Pose and Action Recognition参考文献 55被引用 4

一句话总结

本文提出3DV，一种新颖的3D动态体素表示方法，通过3D体素化和时间秩池化从深度视频中编码时空运动与空间结构。将3DV建模为点集，利用PointNet++实现高效端到端动作识别，在NTU RGB+D 120数据集的跨主体和跨设置设置下分别取得82.4%和93.5%的准确率。

ABSTRACT

To facilitate depth-based 3D action recognition, 3D dynamic voxel (3DV) is proposed as a novel 3D motion representation. With 3D space voxelization, the key idea of 3DV is to encode 3D motion information within depth video into a regular voxel set (i.e., 3DV) compactly, via temporal rank pooling. Each available 3DV voxel intrinsically involves 3D spatial and motion feature jointly. 3DV is then abstracted as a point set and input into PointNet++ for 3D action recognition, in the end-to-end learning way. The intuition for transferring 3DV into the point set form is that, PointNet++ is lightweight and effective for deep feature learning towards point set. Since 3DV may lose appearance clue, a multi-stream 3D action recognition manner is also proposed to learn motion and appearance feature jointly. To extract richer temporal order information of actions, we also divide the depth video into temporal splits and encode this procedure in 3DV integrally. The extensive experiments on 4 well-established benchmark datasets demonstrate the superiority of our proposition. Impressively, we acquire the accuracy of 82.4% and 93.5% on NTU RGB+D 120 [13] with the cross-subject and crosssetup test setting respectively. 3DV's code is available at https://github.com/3huo/3DV-Action.

研究动机与目标

• 为解决2D运动表示在捕捉深度视频中3D空间结构与运动模式方面的局限性。
• 开发一种紧凑的、具备3D感知能力的运动表示，联合编码空间位置与时间运动顺序。
• 通过将3DV转换为点集，实现轻量级深度学习的高效且有效的3D动作识别。
• 通过多流学习框架融合3D运动与深度外观特征，提升性能。
• 通过将时间分段整合到3DV表示中，增强复杂动作序列的建模能力。

提出的方法

• 将3D空间体素化为规则网格（例如50×50×50），将每个深度帧表示为二值占用网格。
• 在连续的深度帧上应用时间秩池化，将一系列二值体素集压缩为单个3DV表示。
• 每个3DV体素存储一个运动值，表示其对应3D运动分量的时间顺序，时间越晚值越高。
• 将3DV表示转换为点集，其中每个体素作为具有3D坐标和运动值的点，适用于PointNet++输入。
• 设计一个多流网络，包含一个运动流（3DV输入）和多个外观流（原始深度帧），以联合学习运动与外观特征。
• 使用深度视频的时间分段以丰富时间顺序建模，将所有分段的运动值融合到3DV表示中。

实验结果

研究问题

• RQ1 一种联合编码空间位置与时间运动顺序的3D运动表示，能否提升深度视频中3D动作识别的性能？
• RQ2 当与轻量级基于点的网络（如PointNet++）结合时，3DV作为紧凑且具备3D感知能力的表示，其有效性如何？
• RQ3 与仅使用运动表示相比，融合运动与外观特征在多大程度上能提升识别准确率？
• RQ4 不同的3DV体素尺寸和采样点数量对识别性能与模型效率有何影响？
• RQ5 时间分段的整合能否提升复杂动作序列在3D动作识别中的建模能力？

主要发现

• 在NTU RGB+D 120的跨主体设置下，3DV取得82.4%的准确率，优于该基准上的现有方法。
• 在NTU RGB+D 120的跨设置设置下，3DV达到93.5%的准确率，展现出强大的泛化能力。
• 最优的3DV体素尺寸为35×35×35 mm，在跨主体和跨视角设置下分别取得76.9%和92.5%的准确率。
• 当PointNet++的3DV输入使用2048个采样点时性能最佳，在跨主体和跨视角设置下分别达到76.9%和92.5%的准确率。
• 近似的时间秩池化方法将3DV提取时间从每样本1.12秒减少至0.10秒，仅造成极小的准确率下降（95.8% vs. 95.3%）。
• PointNet++在准确率与效率上均优于C3D：在NTU RGB+D 60（跨视角）上分别为90.0%与85.0%，参数量为1.24M（C3D为29.2M），计算量为1.24G FLOPs（C3D为10.99G）。