[论文解读] Deep Dual Consecutive Network for Human Pose Estimation

Zhenguang Liu, Haoming Chen+5 more|arXiv (Cornell University)|Mar 12, 2021

Human Pose and Action Recognition参考文献 51被引用 11

一句话总结

该论文提出DCPose，一种用于多帧人体姿态估计的新型深度双串联网络，通过利用连续视频帧中的双向时间上下文，提升在运动模糊、遮挡和失焦等挑战性条件下的关键点检测性能。通过集成姿态时间融合模块（Pose Temporal Merger）、姿态残差融合模块（Pose Residual Fusion）以及多空洞姿态校正网络（multi-dilated Pose Correction Network），该方法在PoseTrack2017和PoseTrack2018基准上取得最先进性能，mAP达到82.8，排名第一。

ABSTRACT

Multi-frame human pose estimation in complicated situations is challenging. Although state-of-the-art human joints detectors have demonstrated remarkable results for static images, their performances come short when we apply these models to video sequences. Prevalent shortcomings include the failure to handle motion blur, video defocus, or pose occlusions, arising from the inability in capturing the temporal dependency among video frames. On the other hand, directly employing conventional recurrent neural networks incurs empirical difficulties in modeling spatial contexts, especially for dealing with pose occlusions. In this paper, we propose a novel multi-frame human pose estimation framework, leveraging abundant temporal cues between video frames to facilitate keypoint detection. Three modular components are designed in our framework. A Pose Temporal Merger encodes keypoint spatiotemporal context to generate effective searching scopes while a Pose Residual Fusion module computes weighted pose residuals in dual directions. These are then processed via our Pose Correction Network for efficient refining of pose estimations. Our method ranks No.1 in the Multi-frame Person Pose Estimation Challenge on the large-scale benchmark datasets PoseTrack2017 and PoseTrack2018. We have released our code, hoping to inspire future research.

研究动机与目标

• 解决基于图像的姿态估计模型在视频序列中，特别是在运动模糊、失焦和遮挡条件下的局限性。
• 通过显式建模连续视频帧之间的时序依赖性，提升关键点检测的鲁棒性。
• 克服RNN和基于光流方法在低质量或遮挡视频帧中的不足。
• 设计一种框架，有效融合来自过去和未来帧的时空线索，实现更精确的姿态估计。

提出的方法

• 姿态时间融合网络（Pose Temporal Merger, PTM）利用组卷积在三个连续帧的关键点热图上进行聚合，生成具有增强空间上下文的局部搜索范围。
• 姿态残差融合模块（Pose Residual Fusion, PRF）基于时间距离计算加权的帧间关键点偏移，实现利用过去和未来帧进行双向优化。
• 姿态校正网络（Pose Correction Network, PCN）在局部搜索范围内应用五个并行空洞卷积，空洞率依次增加（d ∈ {3,6,9,12,15}），以捕捉多尺度上下文信息。
• 该框架端到端训练，并在PoseWarper架构基础上引入双向时间建模与动态残差融合机制。
• 模型利用未标注的邻近帧来优化当前帧预测，无需辅助帧的真值标签。
• PCN中使用多个空洞率可扩大有效感受野，从而更好地建模局部与全局空间依赖性。

Figure 1: An illustration of our Pose Temporal Merger (PTM) network. (a): Original video sequence in the datasets, and we aim to detect poses in the current frame ${F}_{c}$ . (b): Each person in the original video sequence is assembled to a cropped clip and a single-person joints detector gives prel

实验结果

研究问题

• RQ1 从连续视频帧中采用双向时间建模是否能提升在运动模糊和遮挡情况下的关键点检测鲁棒性？
• RQ2 与单向或单帧方法相比，同时融合过去和未来帧的姿态残差对估计精度有何影响？
• RQ3 在校正网络中使用多空洞卷积在多大程度上提升了不同空间上下文下的定位精度？
• RQ4 在具有挑战性的条件下，该框架是否在大规模视频姿态估计基准上优于现有最先进方法？

主要发现

• DCPose在PoseTrack2018基准上达到最高的mAP 82.8，位列多帧人体姿态估计挑战赛第一。
• 消融实验表明，若移除前一帧或后一帧输入，mAP分别下降0.6和0.5，证实了双向时间建模的有效性。
• 在姿态校正网络中增加空洞率，mAP从81.7（d=3）稳步提升至82.8（d∈{3,6,9,12,15}），证明多尺度上下文建模的优势。
• 时间间隔增大（T=2,3,4）时性能下降，mAP从T=1时的82.8降至81.7，验证了短时间间隔内时序一致性的假设。
• 可视化对比显示，DCPose在处理快速运动、遮挡和失焦方面优于SimpleBaseline、HRNet-W48和PoseWarper。
• 该方法能有效处理自遮挡和多人交互场景，而基于图像的模型因缺乏时间上下文而失效。

Figure 2: Overall pipeline of our DCPose framework. The goal is to locate the keypoint positions for the current frame ${F}_{c}$ . First, an individual person $i$ is assembled into an input sequence $\mathbf{Clip}_{i}(p,c,n)$ , and a HRNet backbone predicts initial keypoint heatmaps $\mathbf{h}_{i}(