[论文解读] 4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras

Yuxiang Zhang, Liang An+4 more|arXiv (Cornell University)|Feb 28, 2020

Human Pose and Action Recognition参考文献 40被引用 6

一句话总结

本文提出一种使用5台RGB相机的实时多人动作捕捉系统，通过将2D解析、跨视角匹配和时间跟踪统一到4D关联图框架中实现。该方法采用启发式4D肢体束解析与束Kruskal算法，实现高效优化，在5人场景下达到30fps性能，精度高，且无需依赖外观线索，优于最先进方法。

ABSTRACT

This paper contributes a novel realtime multi-person motion capture algorithm using multiview video inputs. Due to the heavy occlusions in each view, joint optimization on the multiview images and multiple temporal frames is indispensable, which brings up the essential challenge of realtime efficiency. To this end, for the first time, we unify per-view parsing, cross-view matching, and temporal tracking into a single optimization framework, i.e., a 4D association graph that each dimension (image space, viewpoint and time) can be treated equally and simultaneously. To solve the 4D association graph efficiently, we further contribute the idea of 4D limb bundle parsing based on heuristic searching, followed with limb bundle assembling by proposing a bundle Kruskal's algorithm. Our method enables a realtime online motion capture system running at 30fps using 5 cameras on a 5-person scene. Benefiting from the unified parsing, matching and tracking constraints, our method is robust to noisy detection, and achieves high-quality online pose reconstruction quality. The proposed method outperforms the state-of-the-art method quantitatively without using high-level appearance information. We also contribute a multiview video dataset synchronized with a marker-based motion capture system for scientific evaluation.

研究动机与目标

• 解决在多视角视频中严重遮挡条件下实时、高保真多人动作捕捉的挑战。
• 将单视角解析、跨视角匹配与时间跟踪统一到单一优化框架中，克服顺序处理的局限性。
• 在保持对噪声检测和复杂交互鲁棒性的前提下，实现实时性能（30fps）。
• 提供一个与基于标记的真值同步的多视角、多人数据集，用于科学评估。

提出的方法

• 构建一个4D关联图，将2D空间、1D视角和1D时间维度同等对待，节点表示2D关节点候选与来自前一帧的3D关节点。
• 定义边时使用置信度权重，结合图像特征置信度、对极约束和前一帧的时间一致性。
• 提出一种启发式4D肢体束解析算法，以高效识别跨视角与时间的候选肢体段。
• 引入束Kruskal算法，通过改进的最小生成树方法将4D肢体束组合为完整骨架。
• 使用能量函数对整个4D图进行优化，联合平衡图像、立体视觉与时间线索以增强鲁棒性。
• 采用统一的图优化策略，实现解析、匹配与跟踪的同步优化，避免顺序阶段中的误差传播。

实验结果

研究问题

• RQ1 统一的4D图框架能否同时优化解析、匹配与跟踪，从而在多人动作捕捉中提升准确率与效率？
• RQ2 在仅使用RGB相机的密集多人场景中，如何实现严重遮挡下的实时性能（30fps）？
• RQ3 4D关联图在准确率与鲁棒性方面，相较于顺序的两阶段或三阶段流水线，优势有多大？
• RQ4 该方法能否在不依赖高层外观信息的情况下实现高质量的3D姿态重建？

主要发现

• 在Shelf数据集上，该方法实现了97.6%的平均PCP，优于最先进方法[14]（91.1% PCP），且未使用外观信息。
• 在作者新贡献的数据集上，该方法实现了90.2%的召回率与88.5%的精确率，显著优于两步法流水线与无跟踪基线。
• 即使在严重遮挡与近距离交互情况下，该方法仍保持高精度，如视频片段（02:55–03:30）所示，自上而下方法因误检而失效。
• 消融实验表明，移除时间跟踪边会降低性能（93.4% PCP vs. 97.6%在最终方法中），证实时间一致性的关键作用。
• 4D图的构建使系统在仅使用5台相机的情况下实现30fps实时运行，适用于真实工业应用。
• 该方法对单视角解析错误具有鲁棒性，如两视角重建实验所示，单视角的错误解析不会严重损害3D姿态估计。