[论文解读] Learning Temporal Pose Estimation from Sparsely-Labeled Videos

Gedas Bertasius, Christoph Feichtenhofer+3 more|arXiv (Cornell University)|Jun 6, 2019

Human Pose and Action Recognition参考文献 60被引用 16

一句话总结

该论文提出PoseWarper，一种紧凑的深度学习模型，仅通过每k帧的稀疏标注即可实现从视频中进行密集的时间姿态估计。通过利用可变形卷积学习帧间非刚性姿态形变，该方法在姿态传播和时间聚合任务中达到最先进性能，mAP达88.7%，优于基于光流的方法（83.8%），且参数量仅600万。

ABSTRACT

Modern approaches for multi-person pose estimation in video require large amounts of dense annotations. However, labeling every frame in a video is costly and labor intensive. To reduce the need for dense annotations, we propose a PoseWarper network that leverages training videos with sparse annotations (every k frames) to learn to perform dense temporal pose propagation and estimation. Given a pair of video frames---a labeled Frame A and an unlabeled Frame B---we train our model to predict human pose in Frame A using the features from Frame B by means of deformable convolutions to implicitly learn the pose warping between A and B. We demonstrate that we can leverage our trained PoseWarper for several applications. First, at inference time we can reverse the application direction of our network in order to propagate pose information from manually annotated frames to unlabeled frames. This makes it possible to generate pose annotations for the entire video given only a few manually-labeled frames. Compared to modern label propagation methods based on optical flow, our warping mechanism is much more compact (6M vs 39M parameters), and also more accurate (88.7% mAP vs 83.8% mAP). We also show that we can improve the accuracy of a pose estimator by training it on an augmented dataset obtained by adding our propagated poses to the original manual labels. Lastly, we can use our PoseWarper to aggregate temporal pose information from neighboring frames during inference. This allows our system to achieve state-of-the-art pose detection results on the PoseTrack2017 and PoseTrack2018 datasets. Code has been made available at: https://github.com/facebookresearch/PoseWarper.

研究动机与目标

• 通过支持从稀疏标注视频中有效学习，降低密集视频姿态数据集的高标注成本。
• 通过时间建模解决在运动模糊、遮挡和时间不一致性情况下的姿态估计挑战。
• 开发一种轻量化、参数高效的形变机制，实现在不依赖光流的情况下在帧间传递姿态知识。
• 支持实际应用，如姿态传播、模型预训练中的伪标签生成，以及推理阶段的时间上下文聚合。
• 证明通过学习形变进行时间建模，即使在训练数据为密集标注时，也能提升性能。

提出的方法

• 训练PoseWarper网络，利用来自时间上相距较远的未标注帧（帧B）的特征，预测已标注帧（帧A）中的人体关节点姿态。
• 使用带可学习偏移量的3D可变形卷积，以时空方式从帧B采样特征，建模非刚性人体运动。
• 通过最小化基于帧B特征预测帧A姿态估计损失，以自监督方式训练网络。
• 在推理时反转网络方向，将稀疏帧中的手动标注传播至未标注帧，实现全视频姿态标注。
• 通过注入PoseWarper预测的姿态作为伪标签来增强训练数据，以提升基础姿态估计器的性能。
• 将PoseWarper集成到推理流程中，利用邻近帧的时间上下文进行聚合，提升对遮挡和模糊的鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖光流的情况下，从稀疏帧中学习到准确的时间姿态形变？
• RQ2 紧凑形变机制在姿态传播任务中，能在多大程度上超越大型光流网络？
• RQ3 PoseWarper在生成高质量伪标签以训练更优姿态估计器方面有多高效？
• RQ4 通过学习形变进行时间聚合，是否能提升基准视频姿态数据集上的推理阶段性能？
• RQ5 所学习的偏移量编码了何种运动模式？其是否与人类运动一致，而非一般光流？

主要发现

• PoseWarper在姿态传播任务中达到88.7%的mAP，显著优于基于光流的方法（83.8%），且参数量仅600万，远低于光流方法的3900万。
• 在PoseTrack2017验证集上，PoseWarper达到81.2%的mAP，在测试集上达到77.9%的mAP，优于单帧基线模型。
• 在PoseTrack2018数据集上，PoseWarper在验证集上达到79.7%的mAP，在测试集上达到78.0%的mAP，创下时间聚合任务的新SOTA纪录。
• 所学习的偏移图对不同身体部位编码了独特的运动模式，其幅值突出显示了显著的人体运动，且与真实关节点位移高度一致。
• 当作为伪标签使用时，PoseWarper生成的标注在微调增强数据集后，可提升基础姿态估计器的准确性。
• 该模型的时间上下文聚合机制增强了对运动模糊和遮挡的鲁棒性，在具有挑战性的视频序列中均表现出一致的性能提升。