[论文解读] Viewpoint Invariant Action Recognition using RGB-D Videos

Jian Liu, Naveed Akhtar+1 more|UWA Profiles and Research Repository (University of Western Australia)|Sep 15, 2017

Human Pose and Action Recognition参考文献 51被引用 4

一句话总结

该论文提出了一种基于RGB-D视频的视角不变动作识别方法，通过融合来自RGB和Depth流的视角不变深度特征。该方法对RGB密集轨迹采用非线性知识迁移，对基于CNN的Depth特征应用傅里叶时间金字塔编码，并通过稀疏-密集协同表示进行融合，从而提升准确率，在标准数据集上相比最接近的竞争对手最高提升7.7%。

ABSTRACT

In video-based action recognition, viewpoint variations often pose major challenges because the same actions can appear different from different views. We use the complementary RGB and Depth information from the RGB-D cameras to address this problem. The proposed technique capitalizes on the spatio-temporal information available in the two data streams to the extract action features that are largely insensitive to the viewpoint variations. We use the RGB data to compute dense trajectories that are translated to viewpoint insensitive deep features under a non-linear knowledge transfer model. Similarly, the Depth stream is used to extract CNN-based view invariant features on which Fourier Temporal Pyramid is computed to incorporate the temporal information. The heterogeneous features from the two streams are combined and used as a dictionary to predict the label of the test samples. To that end, we propose a sparse-dense collaborative representation classification scheme that strikes a balance between the discriminative abilities of the dense and the sparse representations of the samples over the extracted heterogeneous dictionary.

研究动机与目标

• 解决视频动作识别中视角变化带来的挑战，因为同一动作从不同角度观察时视觉外观不一致，导致性能下降。
• 利用RGB-D传感器中RGB（外观和运动）与Depth（姿态和结构）数据的互补优势，提升对视角变化的鲁棒性。
• 开发一种方法，分别从两种模态中提取视角不变特征，确保运动和姿态信息在相机角度变化下保持不变。
• 设计异质的RGB和Depth流特征融合机制，以增强判别能力，同时保持视角不变性。
• 提出一种新颖的稀疏-密集协同表示分类方案，平衡两种表示的优势，实现最优分类性能。

提出的方法

• 从RGB视频帧中提取密集轨迹以编码运动和时间动态，然后应用非线性知识迁移模型（使用Caffe从头训练）将其转换为视角不变的深度特征。
• 使用在Depth数据上预训练的基于CNN的人体姿态模型（HPM）提取对视角变化鲁棒的外观特征，重点关注人体结构和姿态。
• 对CNN处理后的Depth特征应用傅里叶时间金字塔（FTP）编码，以建模长程时间依赖性，增强时空表征能力。
• 对所得的RGB和Depth特征进行归一化并拼接，形成异质的动作表征字典。
• 在融合后的字典上实现稀疏与密集协同表示的凸组合，用于测试样本的分类，平衡判别能力与鲁棒性。
• 使用Caffe深度学习框架端到端训练知识迁移的深度网络，未使用预训练的ImageNet权重。

实验结果

研究问题

• RQ1 与单模态数据相比，联合处理RGB和Depth流是否能提升动作识别中的视角不变性？
• RQ2 从RGB视频的密集轨迹中进行非线性知识迁移，能在多大程度上生成视角无关的特征？
• RQ3 基于CNN的人体姿态特征与傅里叶时间金字塔编码的结合，在从Depth数据中捕捉时间动态方面有多高效？
• RQ4 在异质RGB-D特征融合的背景下，稀疏-密集协同表示分类方案是否优于纯稀疏或纯密集表示？
• RQ5 所提出的方法是否能在跨主体和跨视角评估协议下，在多视角RGB-D动作识别基准上实现最先进性能？

主要发现

• 在UCF-101-24数据集的跨视角评估中，该方法达到92.9%的准确率，相比最接近的竞争对手高出7.7个百分点。
• 在NTU RGB+D数据集中，该方法在跨视角协议下达到84.5%的准确率，超过DSSCA-SSLM基线（74.9%）9.6个百分点。
• 在HDM05数据集上，该方法在跨视角评估中达到82.7%的准确率，表明其在多种数据集上均具有一致的性能表现。
• 稀疏-密集协同表示方案有效平衡了判别能力与鲁棒性，有助于提升在视角变化下的泛化能力。
• 来自RGB和Depth流的视角不变特征融合显著提升了性能，验证了两种模态的互补性。
• 消融实验确认，所提出的特征提取与融合流程至关重要，因为移除任一组件均会导致性能明显下降。