[论文解读] DiffusionPoser: Real-time Human Motion Reconstruction From Arbitrary Sparse Sensors Using Autoregressive Diffusion

Tom Van Wouwe, Seung‐Hwan Lee+3 more|arXiv (Cornell University)|Aug 31, 2023

Balance, Gait, and Falls Prevention被引用 5

一句话总结

本文提出Diffusion Inertial Poser（DiffIP），一种无需微调即可从任意稀疏IMU配置中实时重建全身人体运动的单扩散生成模型。通过利用自回归去噪和基于OpenSim的生理学合理运动表示，DiffIP在六IMU配置下达到最先进精度，并在仅使用三个IMU时仍能保持类人运动质量，从而在健康与性能监测应用中实现灵活、定制化的传感器部署。

ABSTRACT

Motion capture from a limited number of body-worn sensors, such as inertial measurement units (IMUs) and pressure insoles, has important applications in health, human performance, and entertainment. Recent work has focused on accurately reconstructing whole-body motion from a specific sensor configuration using six IMUs. While a common goal across applications is to use the minimal number of sensors to achieve required accuracy, the optimal arrangement of the sensors might differ from application to application. We propose a single diffusion model, DiffusionPoser, which reconstructs human motion in real-time from an arbitrary combination of sensors, including IMUs placed at specified locations, and, pressure insoles. Unlike existing methods, our model grants users the flexibility to determine the number and arrangement of sensors tailored to the specific activity of interest, without the need for retraining. A novel autoregressive inferencing scheme ensures real-time motion reconstruction that closely aligns with measured sensor signals. The generative nature of DiffusionPoser ensures realistic behavior, even for degrees-of-freedom not directly measured. Qualitative results can be found on our website: https://diffusionposer.github.io/.

研究动机与目标

• 开发一种灵活、实时的人体运动重建系统，利用任意稀疏IMU配置，无需模型微调。
• 在传感器数据稀疏或噪声较大时，提升对未标记身体部位重建的鲁棒性与准确性。
• 通过支持针对特定应用需求定制的多样化IMU配置，实现在健康、康复和性能监测中的实际部署。
• 集成生理学合理的骨骼肌模型（OpenSim），生成具有生物力学意义的输出，如肌肉力与关节运动学。
• 创建并发布一个大规模、与OpenSim兼容的数据集，该数据集基于标记式动作捕捉合成，用于模型训练与评估。

提出的方法

• 训练一个条件自回归扩散模型，从IMU测量的全局段方向和线性加速度生成全身运动序列。
• 模型使用噪声调度和去噪U-Net架构，通过迭代细化运动预测，条件依赖于历史帧和IMU测量值。
• 通过可学习掩码对IMU配置进行编码，识别哪些身体节段被标记，使模型能够泛化至任意配置。
• 训练数据通过AddBiomechanics从三个现有标记式动作捕捉数据集合成，并映射为与OpenSim兼容的运动学表示。
• 通过自回归采样去噪步骤实现实时20Hz运动重建，推理延迟低于110ms。
• 模型训练目标为最小化在多种配置下关节角度误差（MJOE）、位置误差（MJPE）和根部平移误差（RTE）

实验结果

研究问题

• RQ1 单一扩散模型是否能在无需微调的情况下泛化至任意IMU配置，同时保持高重建精度？
• RQ2 在传感器稀疏条件下，扩散模型与基于回归的基线方法相比，在鲁棒性与准确性方面表现如何？
• RQ3 对于不同运动类型与传感器数量，哪些IMU配置能最小化关节角度与全局平移误差？
• RQ4 当传感器数据稀疏时，生成模型在未标记肢体上生成合理运动的能力有多强？
• RQ5 该模型是否能有效实现实时部署，适用于需要低延迟反馈的应用，如生物反馈或虚拟现实？

主要发现

• 在标准六IMU配置下，DiffIP达到最先进性能，平均关节朝向误差（MJOE）为14.7°，平均关节位置误差（MJPE）为7.5 cm。
• 在四IMU配置下，对大腿和前臂进行标记可获得最低关节误差（MJOE: 14.7°），而用脚部替代大腿可减少根部漂移（RTE10s: 0.34m vs. 0.36m）。
• 仅使用三个IMU时，DiffIP仍保持类人运动质量，尽管关节误差上升至22.8° MJOE，RTE10s达1.0m，展现出生成模型的鲁棒性。
• 与条件Transformer基线模型（c-trans）相比，DiffIP在所有配置下均表现出更优的鲁棒性与更低误差，平均MJOE降低25%。
• 系统以20Hz运行，总延迟约110ms，包含传感器通信、滤波与推理，适用于反馈驱动应用的实时使用。
• 模型无需微调即可泛化至不同配置，使用户可根据实际约束与应用目标选择最优IMU部署方案。