[论文解读] A Context-and-Spatial Aware Network for Multi-Person Pose Estimation

Dongdong Yu|arXiv (Cornell University)|May 14, 2019

Human Pose and Action Recognition参考文献 28被引用 6

一句话总结

该论文提出了一种上下文与空间感知网络（CSANet），用于多人姿态估计，通过引入上下文感知路径（CAP）实现部件感知和多感受野上下文建模，以及通过空间感知路径（SAP）保留空间细节，并利用重型主干路径（HHP）实现自适应特征融合。CSANet在COCO关键点基准上达到最先进性能，使用ResNet-152和384×288输入时达到74.5 AP，相比之前方法最高提升2.4 AP。

ABSTRACT

Multi-person pose estimation is a fundamental yet challenging task in computer vision. Both rich context information and spatial information are required to precisely locate the keypoints for all persons in an image. In this paper, a novel Context-and-Spatial Aware Network (CSANet), which integrates both a Context Aware Path and Spatial Aware Path, is proposed to obtain effective features involving both context information and spatial information. Specifically, we design a Context Aware Path with structure supervision strategy and spatial pyramid pooling strategy to enhance the context information. Meanwhile, a Spatial Aware Path is proposed to preserve the spatial information, which also shortens the information propagation path from low-level features to high-level features. On top of these two paths, we employ a Heavy Head Path to further combine and enhance the features effectively. Experimentally, our proposed network outperforms state-of-the-art methods on the COCO keypoint benchmark, which verifies the effectiveness of our method and further corroborates the above proposition.

研究动机与目标

• 为解决在多人姿态估计中拥挤、遮挡或复杂场景下准确估计关键点的挑战。
• 有效利用全局上下文信息和细粒度空间细节，以提升关键点定位精度。
• 设计一种统一的深度学习架构，在自顶向下姿态估计流程中平衡上下文理解与空间精度。
• 验证独立的上下文与空间建模路径及其自适应融合在关键点预测中的有效性。

提出的方法

• 设计了上下文感知路径（CAP），结合结构化监督和空洞空间金字塔池化（ASPP），以捕捉多尺度上下文和部件感知关系。
• 设计了空间感知路径（SAP），保留低层次空间分辨率并编码详细的空间特征，以提升定位精度。
• 通过可学习卷积层和特征重校准，利用重型主干路径（HHP）实现上下文与空间特征的自适应融合。
• 采用自顶向下流程端到端训练网络：先进行人体检测，再使用CSANet进行关键点预测。
• 网络采用ResNet主干网络，并应用1×1卷积进行通道降维和特征融合。
• 通过消融实验验证各组件（CAP、SAP、HHP）的贡献。

实验结果

研究问题

• RQ1 显式建模部件感知和多感受野上下文是否能提升在遮挡或拥挤场景下的关键点估计性能？
• RQ2 在早期阶段保留空间分辨率是否能提升细粒度关键点检测的定位精度？
• RQ3 上下文与空间特征的自适应融合是否能优于统一的特征学习方法？
• RQ4 所提出的架构在COCO等标准基准上的表现与最先进方法相比如何？

主要发现

• 在使用ResNet-152和384×288输入时，CSANet在COCO test-dev2017数据集上达到74.5 AP，相比之前最先进方法（CPN）提升2.4 AP。
• 在384×288输入尺寸下，CSANet相比SBN提升1.9 AP，即使在使用较弱的人体检测器时也表现出一致的性能增益。
• 使用ResNet-101和384×288输入时，CSANet达到74.1 AP，表明其在标准主干网络下仍具备强大性能。
• 消融实验确认，上下文感知路径和空间感知路径均对性能有显著贡献，且重型主干路径进一步提升了特征融合效果。
• 在ResNet-50和256×192输入下，模型达到71.9 AP，表明其在不同输入分辨率下均具备鲁棒性。
• 该框架在CMU-Pose、G-RMI和Mask R-CNN等方法上大幅领先，证实其在具有挑战性的基准上的有效性。