[论文解读] Dynamic Kernel Distillation for Efficient Pose Estimation in Videos

Xuecheng Nie, Yuncheng Li+3 more|arXiv (Cornell University)|Aug 24, 2019

Human Pose and Action Recognition参考文献 31被引用 10

一句话总结

本文提出动态核蒸馏（DKD），一种通过轻量级蒸馏器在线从先前帧蒸馏姿态知识，实现小网络高效视频姿态估计的方法。通过将关键点定位简化为学习到的姿态核与当前特征之间的卷积匹配过程，DKD在保持或提升Penn Action和Sub-JHMDB基准精度的同时，相较之前最先进模型实现10倍FLOPs减少和2倍速度提升。

ABSTRACT

Existing video-based human pose estimation methods extensively apply large networks onto every frame in the video to localize body joints, which suffer high computational cost and hardly meet the low-latency requirement in realistic applications. To address this issue, we propose a novel Dynamic Kernel Distillation (DKD) model to facilitate small networks for estimating human poses in videos, thus significantly lifting the efficiency. In particular, DKD introduces a light-weight distillator to online distill pose kernels via leveraging temporal cues from the previous frame in a one-shot feed-forward manner. Then, DKD simplifies body joint localization into a matching procedure between the pose kernels and the current frame, which can be efficiently computed via simple convolution. In this way, DKD fast transfers pose knowledge from one frame to provide compact guidance for body joint localization in the following frame, which enables utilization of small networks in video-based pose estimation. To facilitate the training process, DKD exploits a temporally adversarial training strategy that introduces a temporal discriminator to help generate temporally coherent pose kernels and pose estimation results within a long range. Experiments on Penn Action and Sub-JHMDB benchmarks demonstrate outperforming efficiency of DKD, specifically, 10x flops reduction and 2x speedup over previous best model, and its state-of-the-art accuracy.

研究动机与目标

• 为解决大型网络在视频姿态估计中计算成本过高的问题，尤其是在低延迟约束下的挑战。
• 通过利用视频帧间的时间一致性，使小网络实现高精度姿态估计。
• 减少对3D卷积、光流或RNN等昂贵组件在时间建模中的依赖。
• 开发一种一次性、前馈式的蒸馏机制，高效地在帧间传递姿态知识。
• 通过时间对抗性训练策略确保姿态估计的时间一致性，且推理阶段无额外开销。

提出的方法

• 一种基于轻量级CNN的蒸馏器，以一次性、前馈方式从上一帧的特征和姿态预测中推断姿态核。
• 姿态核编码了身体关键点的配置模式，作为后续帧估计的紧凑且可重用的引导信号。
• 将身体关键点定位重新定义为通过姿态核与小网络特征图之间的二维卷积实现的空间匹配过程。
• 引入时间对抗性判别器，在训练过程中强制实现连续帧间合理、一致的姿态变化。
• 对抗性训练通过约束置信度图的时间变化，提升一致性，且不增加推理阶段的计算量。
• 整个框架端到端可训练，且在推理时可移除判别器，实现极低的推理开销。

实验结果

研究问题

• RQ1 轻量级蒸馏机制是否能有效将姿态知识从一帧传递到下一帧？
• RQ2 将关键点定位简化为姿态核与特征之间的卷积匹配操作，是否能在降低计算成本的同时保持高精度？
• RQ3 时间对抗性训练策略在强制实现帧间合理姿态演化方面有多有效？
• RQ4 当由动态蒸馏的姿态核引导时，小网络在多大程度上能达到最先进精度？
• RQ5 所提出方法在训练数据有限的小规模数据集上是否具有良好的泛化能力？

主要发现

• 在Sub-JHMDB数据集上，DKD在按人尺寸归一化的度量下达到94.0%的PCK，比之前SOTA模型高出3.8个百分点。
• 当使用ResNet50作为主干网络时，DKD相比之前最佳模型将FLOPs减少10倍，并实现2倍的推理速度提升。
• DKD(ResNet18)在精度上与之前SOTA模型相当，但推理速度提升4倍，展现出显著的效率优势。
• 在Penn Action数据集上，DKD以仅9.96G FLOPs实现92.4%的PCK，而之前SOTA模型需70.98G FLOPs。
• 定性结果表明，该模型对运动模糊、遮挡、视角变化和尺度变化具有鲁棒性。
• 时间对抗性训练在不增加推理开销的前提下，有效提升了帧间姿态的一致性。