[论文解读] HumanMAC: Masked Motion Completion for Human Motion Prediction

Ling-Hao Chen, Jiawei Zhang+4 more|arXiv (Cornell University)|Feb 7, 2023

Human Pose and Action Recognition被引用 4

一句话总结

HumanMAC 提出了一种用于人体动作预测的新型掩码动作补全框架，利用一个从噪声中生成序列的运动扩散模型，并在推理阶段通过基于 DCT 的去噪方法，结合观测动作的掩码条件进行微调。该方法在单损失、端到端训练下实现了最先进性能，且在 CMU-MoCap 和 AMASS 基准上展现出优越的动作多样性，包括罕见的动作类别切换。

ABSTRACT

Human motion prediction is a classical problem in computer vision and computer graphics, which has a wide range of practical applications. Previous effects achieve great empirical performance based on an encoding-decoding style. The methods of this style work by first encoding previous motions to latent representations and then decoding the latent representations into predicted motions. However, in practice, they are still unsatisfactory due to several issues, including complicated loss constraints, cumbersome training processes, and scarce switch of different categories of motions in prediction. In this paper, to address the above issues, we jump out of the foregoing style and propose a novel framework from a new perspective. Specifically, our framework works in a masked completion fashion. In the training stage, we learn a motion diffusion model that generates motions from random noise. In the inference stage, with a denoising procedure, we make motion prediction conditioning on observed motions to output more continuous and controllable predictions. The proposed framework enjoys promising algorithmic properties, which only needs one loss in optimization and is trained in an end-to-end manner. Additionally, it accomplishes the switch of different categories of motions effectively, which is significant in realistic tasks, e.g., the animation task. Comprehensive experiments on benchmarks confirm the superiority of the proposed framework. The project page is available at https://lhchen.top/Human-MAC.

研究动机与目标

• 为解决现有编码-解码框架在人体动作预测中的局限性，包括复杂的损失函数、多阶段训练以及动作类别切换能力差的问题。
• 通过将人体动作预测重新构想为掩码补全任务，实现可控且多样化动作生成。
• 通过单一损失函数和端到端优化简化训练过程，避免在多个损失组件之间进行超参数调优。
• 即使输入序列中未包含此类过渡，也能自然生成动作类别切换（例如从行走切换到坐下），提升真实感与多样性。
• 开发一个统一框架，整体建模完整动作序列，确保观测帧与预测帧之间的连续性。

提出的方法

• 该框架在训练阶段训练一个运动扩散模型，使其能从随机噪声生成人体动作序列。
• 在推理阶段，通过去噪观测动作的噪声表示，将动作预测视为一个掩码补全任务。
• 提出一种新颖的 DCT-Completion 机制，利用可学习掩码将去噪后的频域表示与噪声频域表示相结合，以条件化预测结果。
• 该方法利用离散余弦变换（DCT）建模动作的低频和高频分量，提升动作的平滑性与准确性。
• 整个流程通过单一重建损失实现端到端训练，无需多阶段训练或对抗性损失。
• 通过递归地基于先前预测结果进行条件化，以自回归方式应用于长时序动作预测。

实验结果

研究问题

• RQ1 掩码动作补全框架是否能在人体动作预测中超越传统的编码-解码架构？
• RQ2 单损失、端到端的扩散模型是否能在简化训练与超参数调优的同时实现最先进性能？
• RQ3 当输入序列中不存在此类过渡时，模型是否能自然生成动作类别切换（如从行走切换到坐下）？
• RQ4 与原始时域建模相比，基于 DCT 的频域建模如何提升动作的平滑性与准确性？
• RQ5 该框架是否能在长时序动作预测中实现多样化且逼真的输出？

主要发现

• HumanMAC 在 CMU-MoCap 和 AMASS 数据集上均达到最先进性能，在 CMU-MoCap 上 APD 为 8.021，ADE 为 0.433，优于以往的 VAE 和扩散模型方法。
• 在 AMASS 上，HumanMAC 实现 APD 9.321 和 ADE 0.511，展现出在多样化动作风格上的强大泛化能力。
• 消融实验表明，DCT 建模提升了预测准确度与平滑性，ADE 从无 DCT 时的 0.444 降低至使用 DCT 时的 0.369。
• HumanMAC 实现了多样化且连续的动作过渡，例如从下蹲到站立或从站立到行走，而无需在输入序列中包含此类过渡。
• 与基线方法相比，该模型生成的长时序预测更具动态性，且不过度平滑，后者常导致静态或重复性动作。
• 该框架仅使用单一损失函数并实现端到端训练，无需多阶段训练或复杂的损失平衡。