[论文解读] Exploiting Offset-guided Network for Pose Estimation and Tracking

Rui Zhang, Zheng Zhu+5 more|arXiv (Cornell University)|Jan 1, 2019

Human Pose and Action Recognition被引用 3

一句话总结

本文提出了一种新型融合策略——偏移引导网络（OGN），通过利用热图偏移来减少量化误差，从而提升人体姿态估计与跟踪的性能。通过将偏移引导机制整合到两阶段姿态估计和Mask R-CNN中，并结合贪婪框生成策略与比例一致训练，OGN在COCO和PoseTrack数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Human pose estimation has witnessed a significant advance thanks to the development of deep learning. Recent human pose estimation approaches tend to directly predict the location heatmaps, which causes quantization errors and inevitably deteriorates the performance within the reduced network output. Aim at solving it, we revisit the heatmap-offset aggregation method and propose the Offset-guided Network (OGN) with an intuitive but effective fusion strategy for both two-stages pose estimation and Mask R-CNN. For two-stages pose estimation, a greedy box generation strategy is also proposed to keep more necessary candidates while performing person detection. For mask R-CNN, ratio-consistent is adopted to improve the generalization ability of the network. State-of-the-art results on COCO and PoseTrack dataset verify the effectiveness of our offset-guided pose estimation and tracking.

研究动机与目标

• 解决由离散输出分辨率引起的基于热图的人体姿态估计中的量化误差问题。
• 通过偏移引导的特征融合，提升两阶段姿态估计和Mask R-CNN的精度与鲁棒性。
• 通过引入一种保留关键提议框的贪婪策略，改进两阶段姿态估计中的候选框生成质量。
• 通过比例一致训练提升Mask R-CNN的泛化能力，从而实现更优的关键点定位。
• 在COCO和PoseTrack等标准基准上实现最先进性能。

提出的方法

• 提出一种偏移引导融合机制，利用热图预测的偏移量来优化关键点定位，从而减少量化误差。
• 在两阶段姿态估计中引入贪婪框生成策略，以保留更多相关的人体提议框，同时最小化冗余候选框。
• 在Mask R-CNN中应用比例一致训练，以稳定训练过程并提升在不同输入尺度下的泛化能力。
• 将偏移引导网络适配至两阶段姿态估计和Mask R-CNN框架中，实现一致的性能提升。
• 采用热图-偏移聚合策略，通过结合热图置信度与空间偏移预测，进一步优化关键点坐标。
• 采用端到端训练，联合优化检测、分割与关键点预测任务，并引入偏移引导机制。

实验结果

研究问题

• RQ1 偏移引导融合能否有效减少基于热图的关键点回归中的量化误差，从而提升姿态估计精度？
• RQ2 贪婪框生成策略在两阶段姿态估计中如何影响人体提议框的质量与多样性？
• RQ3 比例一致训练在关键点检测任务中，能在多大程度上提升Mask R-CNN的泛化能力？
• RQ4 所提出的偏移引导网络能否有效扩展至两阶段姿态估计与实例分割框架？
• RQ5 偏移引导机制的集成是否能在COCO和PoseTrack基准上实现最先进性能？

主要发现

• 所提出的偏移引导网络在COCO关键点检测基准上实现了最先进性能，优于先前方法。
• 采用偏移引导融合显著减少了量化误差，从而实现更精确的关键点定位。
• 贪婪框生成策略通过保留更多相关的人体提议框，在不增加计算成本的前提下提升了检测质量。
• 比例一致训练增强了Mask R-CNN在多尺度关键点检测任务中的泛化能力。
• 该方法在PoseTrack数据集上也取得了优异表现，验证了其在视频姿态跟踪任务中的有效性。