[论文解读] WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion

Soyong Shin, Ju-Yong Kim+2 more|arXiv (Cornell University)|Dec 12, 2023

Human Pose and Action Recognition被引用 5

一句话总结

WHAM 提出了一种实时、高精度的方法，通过结合2D关键点序列、视频特征、SLAM获取的相机角速度以及接触感知的轨迹优化，从单目视频中重建全局坐标系下的3D人体运动。该方法在野外基准测试中优于最先进方法，在3D姿态估计和全局轨迹恢复方面均实现了高精度，且无足部滑动现象。

ABSTRACT

The estimation of 3D human motion from video has progressed rapidly but current methods still have several key limitations. First, most methods estimate the human in camera coordinates. Second, prior work on estimating humans in global coordinates often assumes a flat ground plane and produces foot sliding. Third, the most accurate methods rely on computationally expensive optimization pipelines, limiting their use to offline applications. Finally, existing video-based methods are surprisingly less accurate than single-frame methods. We address these limitations with WHAM (World-grounded Humans with Accurate Motion), which accurately and efficiently reconstructs 3D human motion in a global coordinate system from video. WHAM learns to lift 2D keypoint sequences to 3D using motion capture data and fuses this with video features, integrating motion context and visual information. WHAM exploits camera angular velocity estimated from a SLAM method together with human motion to estimate the body's global trajectory. We combine this with a contact-aware trajectory refinement method that lets WHAM capture human motion in diverse conditions, such as climbing stairs. WHAM outperforms all existing 3D human motion recovery methods across multiple in-the-wild benchmarks. Code will be available for research purposes at http://wham.is.tue.mpg.de/

研究动机与目标

• 解决现有3D人体运动估计方法的局限性，这些方法通常在相机坐标系下运行，易出现足部滑动或计算成本过高。
• 实现在任意相机运动下，从单目视频中实现准确、高效且全局一致的3D人体运动重建。
• 通过利用视频和动作捕捉数据的时间上下文，超越单帧方法的精度。
• 通过引入接触感知的轨迹优化，消除全局轨迹中的足部滑动。
• 通过快速、端到端的基于学习的流水线，支持AR/VR、机器人和自主系统等实时应用。

提出的方法

• WHAM 在 AMASS 数据集上预训练运动编码器和解码器，将2D关键点序列提升为3D SMPL 参数，以捕捉长时序运动上下文。
• 提出一种特征融合网络，将2D关键点序列与时间上的视频特征进行融合，以提升姿态和体型估计的精度。
• 通过结合预测的运动上下文与SLAM或陀螺仪数据提供的相机角速度，估计全局人体轨迹。
• 通过全局轨迹解码器递归预测人体朝向和根部速度，结合运动上下文与相机角速度，实现全局坐标估计。
• 应用接触感知的轨迹优化，以强制实现真实的足地接触，减少在高度变化过程中的足部滑动。
• 系统通过包含3D真实值的视频数据集进行端到端训练，并在数据合成过程中使用随机掩码以提升鲁棒性。

Figure 2 : An Overview of WHAM. WHAM takes the sequence of 2D keypoints estimated by a pretrained detector and encodes it to the motion feature. WHAM then updates the motion feature using another sequence of image features extracted from the image encoder through the feature integrator. From the upd

实验结果

研究问题

• RQ1 基于学习的方法能否在不依赖昂贵优化的情况下，实现从单目视频中准确估计全局坐标系下的3D人体运动？
• RQ2 如何有效融合2D关键点的运动上下文与密集视觉特征，以提升3D姿态和体型估计的精度？
• RQ3 能否利用SLAM或陀螺仪提供的相机角速度，将人体运动与相机运动解耦，以实现准确的全局轨迹估计？
• RQ4 接触感知优化是否能显著减少在爬楼梯等复杂运动中全局轨迹的足部滑动？
• RQ5 在动作捕捉数据上训练的方法能否泛化到野外视频，同时保持高精度和实时性能？

主要发现

• WHAM 在多个野外基准测试中达到最先进性能，在3D姿态和全局轨迹精度方面均优于基于图像和基于视频的方法。
• 消融实验表明，特征融合使根部平移误差降低14.8%，足部速度误差降低19.8%。
• 若移除在AMASS上的预训练，性能显著下降，证明其在运动上下文学习中的关键作用。
• 轨迹优化模块相比无优化版本，使根部平移误差降低8.8%，足部速度误差降低14.8%。
• 使用相机角速度至关重要：若移除该信息，根部平移误差增加20.8%，旋转误差增加19.8%，表明相机运动与人体运动存在强耦合。
• WHAM 在3D H3.6M基准测试中达到41.9%的误差率，显著优于先前方法，同时保持实时推理速度。

Figure 3 : WHAM’s Two-Stage Training Scheme. During pre-taining, we generate synthetic 2D keypoint sequences from AMASS [ 32 ] and train a motion encoder and decoder on the generated data ( top ). We then leverage video datasets with ground truth SMPL parameters, for which there is much less data. W