[论文解读] HiT-DVAE: Human Motion Generation via Hierarchical Transformer Dynamical VAE

Xiaoyu Bie, W. Guo+4 more|arXiv (Cornell University)|Apr 4, 2022

Human Pose and Action Recognition被引用 7

一句话总结

HiT-DVAE 提出了一种基于分层变换器的动态变分自编码器，用于3D人体动作生成，通过注意力机制在数据空间和潜在空间中建模序列依赖关系，从而实现多样化、逼真且长时程的动作预测。在 HumanEva-I 和 Human3.6M 数据集上，该方法在多个指标上均优于当前最先进（SOTA）的方法，在动作多样性、准确性和重建质量方面取得了 SOTA 结果。

ABSTRACT

Studies on the automatic processing of 3D human pose data have flourished in the recent past. In this paper, we are interested in the generation of plausible and diverse future human poses following an observed 3D pose sequence. Current methods address this problem by injecting random variables from a single latent space into a deterministic motion prediction framework, which precludes the inherent multi-modality in human motion generation. In addition, previous works rarely explore the use of attention to select which frames are to be used to inform the generation process up to our knowledge. To overcome these limitations, we propose Hierarchical Transformer Dynamical Variational Autoencoder, HiT-DVAE, which implements auto-regressive generation with transformer-like attention mechanisms. HiT-DVAE simultaneously learns the evolution of data and latent space distribution with time correlated probabilistic dependencies, thus enabling the generative model to learn a more complex and time-varying latent space as well as diverse and realistic human motions. Furthermore, the auto-regressive generation brings more flexibility on observation and prediction, i.e. one can have any length of observation and predict arbitrary large sequences of poses with a single pre-trained model. We evaluate the proposed method on HumanEva-I and Human3.6M with various evaluation methods, and outperform the state-of-the-art methods on most of the metrics.

研究动机与目标

• 解决现有方法仅使用单一潜在嵌入且无法有效建模人体动作生成中多模态性的局限性。
• 克服先前工作中缺乏注意力机制以在动作生成过程中选择相关帧的问题。
• 通过单一预训练模型实现自回归、长序列动作生成，支持任意观测长度和预测长度。
• 同时在观测姿态序列和潜在空间分布中建模时间相关动力学，以提升动作的真实感与多样性。
• 提出一种结合动态 VAE 与基于变换器的注意力机制的分层架构，以学习复杂且时变的潜在表示。

提出的方法

• 提出一种基于分层变换器的架构，用于在时间维度上建模观测 3D 姿态与潜在变量之间的联合依赖关系。
• 在每个时间步使用序列级潜在变量 $ z_t $ 捕获时间动态，以动态潜在空间替代单一嵌入编码。
• 通过类似变换器的注意力机制实现自回归生成，使模型能够关注相关的历史帧以预测下一帧姿态。
• 引入一个时间无关的潜在变量 $ \mathbf{w} $，通过提供全局上下文条件来增强动作的多样性。
• 使用变分推断目标进行模型训练，优化序列潜在空间上的重构损失与 KL 散度项。
• 在训练过程中应用课程采样（scheduled sampling）以稳定学习过程，并提升对长序列的泛化能力。

实验结果

研究问题

• RQ1 基于分层变换器的动态 VAE 模型能否有效捕捉 3D 人体动作序列中的复杂时间依赖关系？
• RQ2 与固定注意力或基于 RNN 的注意力机制相比，注意力机制是否能提升动作生成中的帧选择能力？
• RQ3 该模型能否在不退化为平均动作模式的情况下，生成多样化、逼真且长时程的动作序列？
• RQ4 引入时间无关的潜在变量 $ \mathbf{w} $ 对动作多样性与生成质量有何影响？
• RQ5 所提出的架构在动作多样性、准确性和平滑性方面，相较于现有 SOTA 方法的优越程度如何？

主要发现

• 在 HumanEva-I 数据集上，HiT-DVAE 达到 72.6% 的动作分类准确率、0.089 的 FID 和 4.721 的 APD，优于所有基线方法。
• 在 Human3.6M 数据集上，HiT-DVAE 实现 70.0% 的动作准确率和 1.708 的 FID，表明其在动作真实感与多样性方面显著优于当前 SOTA 方法。
• 消融研究显示，若移除注意力机制或 $ \mathbf{w} $，性能显著下降，尤其在多样性和重建质量方面。
• 未使用课程采样的模型生成的动作更具多样性但质量较低，表明多样性与保真度之间存在权衡。
• 原始 DVAE 基线（无注意力机制和 $ \mathbf{w} $）会退化为静态潜在状态，凸显了所提出的分层与注意力机制设计的必要性。
• 定性结果表明，HiT-DVAE 在所有样本中均能生成多样化、合理且逼真的动作序列，而其他方法常产生重复或不自然的动作。