[论文解读] BiHMP-GAN: Bidirectional 3D Human Motion Prediction GAN

Jogendra Nath Kundu, Maharshi Gor+1 more|ePrints@IISc (Indian Institute of Science)|Dec 6, 2018

Human Pose and Action Recognition参考文献 18被引用 5

一句话总结

BiHMP-GAN 提出了一种用于3D人体动作预测的双向生成对抗网络，通过将学习到的内在姿态表征与从先验分布中抽取的随机外部因子 $ r $ 结合，对随机的未来姿态序列进行建模。通过训练一个修改后的判别器来回归 $ r $ 并强制内容一致性，该模型生成了多样化、连贯且高保真度的动作序列，在 Human 3.6M 数据集上的长期预测准确性和表现力方面优于确定性方法和先前的生成方法。

ABSTRACT

Human motion prediction model has applications in various fields of computer vision. Without taking into account the inherent stochasticity in the prediction of future pose dynamics, such methods often converges to a deterministic undesired mean of multiple probable outcomes. Devoid of this, we propose a novel probabilistic generative approach called Bidirectional Human motion prediction GAN, or BiHMP-GAN. To be able to generate multiple probable human-pose sequences, conditioned on a given starting sequence, we introduce a random extrinsic factor r, drawn from a predefined prior distribution. Furthermore, to enforce a direct content loss on the predicted motion sequence and also to avoid mode-collapse, a novel bidirectional framework is incorporated by modifying the usual discriminator architecture. The discriminator is trained also to regress this extrinsic factor r, which is used alongside with the intrinsic factor (encoded starting pose sequence) to generate a particular pose sequence. To further regularize the training, we introduce a novel recursive prediction strategy. In spite of being in a probabilistic framework, the enhanced discriminator architecture allows predictions of an intermediate part of pose sequence to be used as a conditioning for prediction of the latter part of the sequence. The bidirectional setup also provides a new direction to evaluate the prediction quality against a given test sequence. For a fair assessment of BiHMP-GAN, we report performance of the generated motion sequence using (i) a critic model trained to discriminate between real and fake motion sequence, and (ii) an action classifier trained on real human motion dynamics. Outcomes of both qualitative and quantitative evaluations, on the probabilistic generations of the model, demonstrate the superiority of BiHMP-GAN over previously available methods.

研究动机与目标

• 解决确定性动作预测模型收敛至平均姿态的局限性，从而导致输出不真实且多样性不足的问题。
• 开发一种概率生成框架，以捕捉人体动作动力学中的固有随机性，实现长期未来姿态预测。
• 通过引入支持内容损失和模式覆盖的双向训练与推理设置，实现对生成动作模型的可靠评估。
• 通过将直接内容损失与能够回归外部因子 $ r $ 的修改判别器相结合，提升生成质量并避免模式崩溃。
• 在短时和长时动作预测任务中，证明其性能优于确定性模型和先前的生成模型。

提出的方法

• 提出一种双向 GAN 架构，其中判别器被训练以回归随机外部因子 $ r $，从而实现更好的解耦与内容控制。
• 采用条件生成器，同时输入编码后的过去姿态序列（内在因子）和随机向量 $ r $（外部因子），以生成未来姿态序列。
• 在训练过程中采用递归预测策略，将中间预测的姿态序列用作后续预测的条件，从而提升时间连贯性。
• 在完整生成动作序列上引入直接内容损失（MSE），以稳定训练并避免模式崩溃。
• 利用基于真实动作数据训练的判别器模型和动作分类器，评估生成序列的真实感与表现力。
• 应用姿态嵌入变换以提升动作序列的表征质量，并减少不自然的姿态帧。

实验结果

研究问题

• RQ1 具有解耦潜在因子（内在姿态 + 外部噪声）的生成模型能否生成多样化、真实且连贯的3D人体动作序列？
• RQ2 在判别器回归外部因子 $ r $ 的双向训练设置下，如何提升生成质量并避免模式崩溃？
• RQ3 在完整动作序列上集成直接内容损失在多大程度上提升了预测准确性，尤其是在长期动作预测中？
• RQ4 所提出的框架能否在基准数据集上优于确定性模型和先前的生成模型，在多样性、连贯性和准确性方面表现更优？
• RQ5 递归预测正则化策略是否提升了模型在长序列中保持时间一致性的能力？

主要发现

• BiHMP-GAN 在长期预测时延（如 1000 ms）下，其平均预测误差显著低于确定性模型（如 RRNN 和 Conv-Motion），证明其有效缓解了向平均姿态收敛的问题。
• 当找到最优 $ r $ 时，模型的最佳预测误差（$ Ours(r^{ ext{prime}}) $）持续低于 HP-GAN 和确定性方法，表明其在准确度方面表现更优。
• 在 1000 个随机 $ r $ 向量中的最小误差（$ Ours(min_{err}) $）显著低于 HP-GAN，证明 BiHMP-GAN 在动作生成中具有更高的表达力和多样性。
• 定性结果表明，BiHMP-GAN 对同一输入能生成多样化动作序列，而 HP-GAN 在不同 $ r $ 值下生成的输出则趋于相似。
• 双向设置支持通过判别器和动作分类器联合评估预测质量，证实了生成动作的真实感与语义一致性。
• 消融实验表明，姿态嵌入、递归预测和解耦的 $ r $-回归机制均对性能提升有显著贡献。