[论文解读] DLow: Diversifying Latent Flows for Diverse Human Motion Prediction

Ye Yuan, Kris Kitani|arXiv (Cornell University)|Mar 18, 2020

Human Pose and Action Recognition参考文献 77被引用 13

一句话总结

DLow 提出了一种针对预训练深度生成模型的新颖采样方法，通过从单一随机变量学习相关潜在码，利用促进多样性的先验来优化样本多样性，同时平衡似然性。该方法在 Human3.6M 和 HumanEva-I 数据集上均优于最先进方法，在多样性和准确性方面表现更优。

ABSTRACT

Deep generative models are often used for human motion prediction as they are able to model multi-modal data distributions and characterize diverse human behavior. While much care has been taken into designing and learning deep generative models, how to efficiently produce diverse samples from a deep generative model after it has been trained is still an under-explored problem. To obtain samples from a pretrained generative model, most existing generative human motion prediction methods draw a set of independent Gaussian latent codes and convert them to motion samples. Clearly, this random sampling strategy is not guaranteed to produce diverse samples for two reasons: (1) The independent sampling cannot force the samples to be diverse; (2) The sampling is based solely on likelihood which may only produce samples that correspond to the major modes of the data distribution. To address these problems, we propose a novel sampling method, Diversifying Latent Flows (DLow), to produce a diverse set of samples from a pretrained deep generative model. Unlike random (independent) sampling, the proposed DLow sampling method samples a single random variable and then maps it with a set of learnable mapping functions to a set of correlated latent codes. The correlated latent codes are then decoded into a set of correlated samples. During training, DLow uses a diversity-promoting prior over samples as an objective to optimize the latent mappings to improve sample diversity. The design of the prior is highly flexible and can be customized to generate diverse motions with common features (e.g., similar leg motion but diverse upper-body motion). Our experiments demonstrate that DLow outperforms state-of-the-art baseline methods in terms of sample diversity and accuracy. Our code is released on the project page: https://www.ye-yuan.com/dlow.

研究动机与目标

• 解决预训练生成模型在生成多样化动作样本方面缺乏有效采样策略的问题。
• 克服独立随机采样方法的局限性，后者无法强制实现多样性，且倾向于集中于数据的主要模式。
• 开发一种方法，实现具有共享特征（如相似腿部动作但不同上半身动作）的多样化动作的可控生成。
• 通过可学习的权衡机制，在动作生成中平衡多样性与似然性。
• 提供一个灵活的框架，可通过可定制先验适应各种多样性目标。

提出的方法

• DLow 引入单一随机变量和一组可学习的确定性映射函数，以生成相关潜在码，实现对样本分布的联合建模。
• 该方法基于成对样本距离设计一种促进多样性的先验，以能量模型损失的形式表达，以鼓励覆盖多个动作模式。
• 训练过程中，映射函数被优化以最小化联合样本分布与多样性促进先验之间的交叉熵，同时通过 KL 散度项保持似然性。
• 通过超参数 β 控制多样性与似然性之间的权衡，使用户能够平衡样本多样性与准确性。
• 灵活的先验设计允许针对特定应用进行定制，例如在某些动作分量（如腿部动作）中强制相似性，同时在其他分量（如上半身动作）中促进多样性。
• 该方法兼容任意预训练生成模型，此处以条件变分自编码器（CVAE）为例进行演示，并可通过不同随机种子生成多组多样化样本。

实验结果

研究问题

• RQ1 与独立随机采样相比，通过关联潜在码的采样策略是否能提升人类动作预测的多样性？
• RQ2 可学习的多样性促进先验是否能有效引导样本在多个动作模式中的生成，而无需完全依赖似然性？
• RQ3 在动作生成中，如何平衡多样性与似然性，以同时保持样本质量和对合理未来行为的覆盖？
• RQ4 多样性促进先验是否可定制化，以实现可控动作生成，例如在保持特定动作分量不变的同时变化其他分量？
• RQ5 所提出方法在标准人类动作预测基准上是否能生成比最先进基线方法更丰富多样且更准确的动作样本？

主要发现

• 在 Human3.6M 和 HumanEva-I 数据集上，DLow 的平均成对多样性（APD）显著高于基线方法，表明其对动作模式的覆盖更优。
• 在 Human3.6M 上，DLow 的 APD 达到 0.48，比表现第二好的方法高出 12.5%，证明其在样本多样性方面具有显著优势。
• DLow 保持了出色的样本准确性，ADE 和 FDE 分别为 18.7 mm 和 45.3 mm，同时在多样性和准确性方面均优于基线方法。
• 消融实验表明，若移除多样性项（Ed），APD 下降 21%，ADE 上升 15%，证实其在多样性中起着关键作用。
• 该方法支持可控动作预测：当使用分量特定的能量函数进行训练时，DLow 能生成多样化的上半身动作，同时保持相似的腿部动作，而随机 CVAE 采样则无法实现这一点。
• 通过改变随机噪声 ε，可生成截然不同且多样的动作集合，证明该方法能从单一模型生成多组多样化预测。