[论文解读] Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images

Size Wu, Sheng Jin+5 more|arXiv (Cornell University)|Sep 13, 2021

Human Pose and Action Recognition被引用 6

一句话总结

该论文提出了一种基于图神经网络的、从多视角图像进行3D多人姿态估计的新型粗到细框架，通过任务特定的图神经网络提升精度与效率。该方法引入了三个模块——MMG用于可学习的多视角匹配，CRG用于连续3D中心点精炼，PRG用于结构与几何感知的姿态精炼，实现了显著降低计算与内存消耗的同时达到最先进性能。

ABSTRACT

This paper studies the task of estimating the 3D human poses of multiple persons from multiple calibrated camera views. Following the top-down paradigm, we decompose the task into two stages, i.e. person localization and pose estimation. Both stages are processed in coarse-to-fine manners. And we propose three task-specific graph neural networks for effective message passing. For 3D person localization, we first use Multi-view Matching Graph Module (MMG) to learn the cross-view association and recover coarse human proposals. The Center Refinement Graph Module (CRG) further refines the results via flexible point-based prediction. For 3D pose estimation, the Pose Regression Graph Module (PRG) learns both the multi-view geometry and structural relations between human joints. Our approach achieves state-of-the-art performance on CMU Panoptic and Shelf datasets with significantly lower computation complexity.

研究动机与目标

• 解决现有2D到3D提升方法与直接3D估计方法在多视角3D多人姿态估计中的局限性。
• 通过跨视角可学习、几何感知的特征融合，提升对遮挡与2D检测不准确的鲁棒性。
• 相比体素化体积方法，在保持或提升精度的同时，降低计算成本与内存使用。
• 开发一个统一的端到端框架，结合图神经网络实现从粗到细的人体中心检测与3D姿态精炼。

提出的方法

• 提出多视角匹配图模块（MMG），一种可学习的图网络，融合视觉与几何线索，实现粗粒度3D人体中心检测中的跨视角人员关联。
• 提出中心点精炼图模块（CRG），一种基于点的图网络，在连续3D空间中通过隐式场表示与自适应采样，对人类中心位置进行精炼。
• 设计姿态回归图模块（PRG），一种基于图的模型，联合建模人体结构先验与多视角几何约束，以精炼3D关节点位置。
• 采用两阶段粗到细流程：首先通过MMG检测人体提议并由CRG进行精炼，然后利用来自基线3D回归器的初始估计，通过PRG回归3D姿态。
• 使用图神经网络有效聚合多视角特征，实现优于传统平均或固定网格方法的特征融合。
• 在CRG中利用隐式场表示，避免量化误差，支持灵活采样，在精度与推理速度之间实现平衡。

Figure 1: Overview of mainstream multi-view 3D pose estimation frameworks. (a) 2D-to-3D lifting-based approaches (b) Direct 3D pose estimation approaches. (c) Our approach applies graph-based matching algorithm to detect human centers, and applies a graph-based pose refinement model to effectively u

实验结果

研究问题

• RQ1 与手工设计的几何与外观约束相比，可学习的图基跨视角匹配是否能提升3D人体中心检测的准确性？
• RQ2 通过图网络实现的连续点基3D精炼是否在精度与效率上优于离散体素基定位方法？
• RQ3 一种联合建模人体结构与多视角几何的图基姿态精炼模块是否能显著提升3D姿态估计的准确性？
• RQ4 所提框架在保持或超越现有体素化与2D到3D提升方法性能的同时，能在多大程度上降低计算与内存开销？

主要发现

• 所提方法在CMU Panoptic与Shelf数据集上达到最先进性能，mAP为82.10%，MPJPE为15.84mm。
• MMG模块通过数据驱动学习提升多视角人员关联性能，优于传统手工设计的匹配准则。
• CRG模块相比体素基基线将内存使用降低95%，仅需1.08MB内存与5.6ms每提案推理时间。
• PRG模块在不同初始回归器上均一致提升3D姿态精度，平均将MPJPE降低7.3%至8.2%。
• 仅使用$32^3$个体素箱，该方法即实现15.95mm的MPJPE，优于Tu等人[35]的1.84mm，且计算成本仅为后者的1/4。
• 该框架保持高效率：MMG每人在单张GPU上耗时2.4ms，CRG为5.6ms，4人总推理时间低于65ms。

Figure 2: Overview of our approach. The whole pipeline follows the top-down paradigm. It first applies Multi-view Matching Graph Module (MMG) to obtain coarse human center candidates, which are used to limit the search space. Center Refinement Graph Module (CRG) adaptively performs point-based predi