[论文解读] Multi-scale Aggregation R-CNN for 2D Multi-person Pose Estimation

Gyeongsik Moon, Ju Yong Chang+1 more|arXiv (Cornell University)|Jan 1, 2019

Human Pose and Action Recognition被引用 5

一句话总结

本文提出多尺度聚合R-CNN（MSA R-CNN），一种统一的单模型方法，用于2D多人姿态估计，通过MS-RoIAlign和MS-KpsNet实现多尺度特征聚合，以提升关键点定位精度并降低计算成本。该方法在单模型方法中达到最先进性能，且效率与分离模型相当。

ABSTRACT

Multi-person pose estimation from a 2D image is challenging because it requires not only keypoint localization but also human detection. In state-of-the-art top-down methods, multi-scale information is a crucial factor for the accurate pose estimation because it contains both of local information around the keypoints and global information of the entire person. Although multi-scale information allows these methods to achieve the state-of-the-art performance, the top-down methods still require a huge amount of computation because they need to use an additional human detector to feed the cropped human image to their pose estimation model. To effectively utilize multi-scale information with the smaller computation, we propose a multi-scale aggregation R-CNN (MSA R-CNN). It consists of multi-scale RoIAlign block (MS-RoIAlign) and multi-scale keypoint head network (MS-KpsNet) which are designed to effectively utilize multi-scale information. Also, in contrast to previous top-down methods, the MSA R-CNN performs human detection and keypoint localization in a single model, which results in reduced computation. The proposed model achieved the best performance among single model-based methods and its results are comparable to those of separated model-based methods with a smaller amount of computation on the publicly available 2D multi-person keypoint localization dataset.

研究动机与目标

• 解决依赖独立人体检测器和姿态估计器的自顶向下姿态估计方法计算成本过高的问题。
• 通过在统一框架中有效利用局部与全局多尺度特征，提升关键点定位精度。
• 通过将人体检测与关键点预测整合为单一端到端模型，减少推理时间与模型复杂度。
• 在参数量更少、计算量更低的前提下，实现与最先进分离模型相当或更优的性能。

提出的方法

• 提出多尺度RoIAlign模块（MS-RoIAlign），在感兴趣区域级别聚合多尺度特征，以保留空间细节与上下文信息。
• 提出多尺度关键点头网络（MS-KpsNet），处理来自不同尺度的特征，以提升关键点回归精度。
• 设计统一的检测与关键点头架构，通过一次前向传播同时预测人体实例及其关键点位置。
• 利用特征金字塔网络从主干网络提取多尺度特征，再通过MS-RoIAlign进行特征聚合，以增强表征能力。
• 采用共享主干网络同时处理检测与关键点预测，相比两阶段流水线减少了冗余与计算量。
• 在训练过程中应用多尺度监督，即在不同特征尺度上对关键点头进行监督，以增强定位鲁棒性。

实验结果

研究问题

• RQ1 统一的单模型架构能否在保持高精度的前提下，有效结合人体检测与关键点估计？
• RQ2 通过MS-RoIAlign实现的多尺度特征聚合，相较于单尺度或标准RoIAlign，如何提升关键点定位性能？
• RQ3 所提出方法在匹配或超越分离检测与姿态估计模型性能的同时，能在多大程度上降低计算成本？
• RQ4 在检测头与关键点头中整合多尺度特征，是否能提升在多样化人体姿态与尺度下的预测鲁棒性？

主要发现

• MSA R-CNN在2D多人关键点定位基准测试中，作为单模型方法表现最佳。
• 其性能与最先进分离模型方法相当，证明统一设计不会损害精度。
• 通过消除对独立人体检测器的需求，显著降低计算成本，实现更快的推理速度。
• MS-RoIAlign与MS-KpsNet的使用提升了关键点定位精度，尤其在小尺寸或遮挡人体上表现更优，得益于更优的多尺度特征利用。
• 与两阶段自顶向下方法相比，该统一架构在保持高精度的同时，显著降低了模型复杂度与推理时间。