[论文解读] PERF-Net: Pose Empowered RGB-Flow Net

Yinxiao Li, Zhichao Lu+2 more|arXiv (Cornell University)|Sep 28, 2020

Human Pose and Action Recognition参考文献 46被引用 9

一句话总结

PERF-Net 提出了一种新颖的视频动作识别模型，通过将人体姿态估计结果叠加到 RGB 帧上作为专用输入流，构建了姿态感知的 RGB-Flow 网络。通过从 RGB、光流和姿态流中进行知识蒸馏，该模型在 Kinetics-600（82.0% 的 top-1 准确率）和 Kinetics-700 上实现了最先进性能，同时在推理时仅需 RGB 输入，无需计算光流或姿态信息。

ABSTRACT

In recent years, many works in the video action recognition literature have shown that two stream models (combining spatial and temporal input streams) are necessary for achieving state of the art performance. In this paper we show the benefits of including yet another stream based on human pose estimated from each frame -- specifically by rendering pose on input RGB frames. At first blush, this additional stream may seem redundant given that human pose is fully determined by RGB pixel values -- however we show (perhaps surprisingly) that this simple and flexible addition can provide complementary gains. Using this insight, we then propose a new model, which we dub PERF-Net (short for Pose Empowered RGB-Flow Net), which combines this new pose stream with the standard RGB and flow based input streams via distillation techniques and show that our model outperforms the state-of-the-art by a large margin in a number of human action recognition datasets while not requiring flow or pose to be explicitly computed at inference time. The proposed pose stream is also part of the winner solution of the ActivityNet Kinetics Challenge 2020.

研究动机与目标

• 探究显式引入人体姿态作为模态是否能在标准 RGB 和光流流之外进一步提升视频动作识别性能。
• 开发一种利用姿态信息但无需在推理时依赖姿态信息的方法，以实现高效部署。
• 探索有效的姿态渲染技术，在保留上下文线索的同时增强 3D CNN 中基于姿态的注意力机制。
• 证明从多种模态（RGB、光流、姿态）蒸馏知识可生成性能更优的单流 RGB 模型。
• 在下游动作识别基准上验证蒸馏模型的泛化能力和鲁棒性。

提出的方法

• 通过将人体关键点热力图以夸张的彩色线条直接渲染到每个 RGB 帧上，构建姿态流，以保留空间和上下文关系。
• 采用多教师蒸馏框架，其中仅在 RGB 上训练的学生模型从在 RGB、光流和姿态流上训练的教师模型中学习。
• 对光流和姿态流分别应用蒸馏损失，实现在不修改学生模型架构的前提下实现知识迁移。
• 引入自门控机制，在训练过程中动态调节不同模态的特征重要性。
• 最终模型 PERF-Net 是一个单流 RGB 仅模型，通过蒸馏来自三种不同输入模态的知识，实现了最先进性能。
• 在 Kinetics-600 和 Kinetics-700 上进行预训练，随后在 UCF-101 和 HMDB-51 等下游数据集上进行微调，无需进一步蒸馏。

实验结果

研究问题

• RQ1 将姿态流作为独立输入模态是否能在视频动作识别中提供超越 RGB 和光流的互补优势？
• RQ2 知识蒸馏能否有效将来自姿态流和光流流的知识迁移至仅使用 RGB 的单模型中，且在推理时无需这些输入？
• RQ3 姿态渲染方法的选择（如叠加式 vs. 独立式）如何影响模型性能和注意力模式？
• RQ4 蒸馏后的 PERF-Net 模型在具有更少或更多类别的下游数据集上泛化程度如何？
• RQ5 姿态流是否能提升对相关身体部位的注意力定位，尤其是在模糊动作类别中？

主要发现

• PERF-Net 在 Kinetics-600 上实现了 82.0% 的 top-1 准确率，显著优于最先进单流模型。
• 在 Kinetics-700 上，蒸馏模型实现了 82.0% 的 top-1 准确率，表明其在类别和数据复杂性更高的场景下仍具备强大泛化能力。
• 该模型在 UCF-101（98.6% 准确率）和 HMDB-51（83.2% 准确率）上均优于所有现有单流模型，包括集成方法。
• 定性分析表明，姿态流能促使注意力聚焦于整个人体，在模糊动作（如 'barbell sit-up' 与 'bench press'）中提供互补信号。
• 消融实验确认，将姿态叠加到 RGB 帧上至关重要——独立姿态输入性能显著更差。
• 蒸馏后的模型在下游数据集上泛化良好，仅通过极少微调即在 UCF-101 和 HMDB-51 上达到最先进性能。