[论文解读] Convolutional Sequence to Sequence Model for Human Dynamics

Chen Li, Zhen Zhang+2 more|arXiv (Cornell University)|May 2, 2018

Human Pose and Action Recognition参考文献 18被引用 30

一句话总结

本文提出了一种用于人体动作预测的卷积序列到序列模型，采用分层编码器-解码器架构，结合长时程与短时程卷积编码器以捕捉时空相关性。该方法通过缓解均值姿态问题，在Human3.6M和CMU Mocap数据集上生成更逼真的动作序列，显著优于最先进RNN模型，尤其在长时程预测中表现更优。

ABSTRACT

Human motion modeling is a classic problem in computer vision and graphics. Challenges in modeling human motion include high dimensional prediction as well as extremely complicated dynamics.We present a novel approach to human motion modeling based on convolutional neural networks (CNN). The hierarchical structure of CNN makes it capable of capturing both spatial and temporal correlations effectively. In our proposed approach,a convolutional long-term encoder is used to encode the whole given motion sequence into a long-term hidden variable, which is used with a decoder to predict the remainder of the sequence. The decoder itself also has an encoder-decoder structure, in which the short-term encoder encodes a shorter sequence to a short-term hidden variable, and the spatial decoder maps the long and short-term hidden variable to motion predictions. By using such a model, we are able to capture both invariant and dynamic information of human motion, which results in more accurate predictions. Experiments show that our algorithm outperforms the state-of-the-art methods on the Human3.6M and CMU Motion Capture datasets. Our code is available at the project website.

研究动机与目标

• 解决RNN-based人体动作预测模型中常见的长时程均值姿态问题。
• 通过捕捉远距离与邻近时间依赖关系，提升长时程动作预测的准确性。
• 建模身体各部分之间的复杂时空相关性，例如行走或跑步时四肢的协调运动。
• 利用卷积网络而非循环网络，构建更鲁棒且更逼真的人体动作预测框架。
• 在标准基准上展示优越性能，尤其在跳跃和跑步等具有挑战性的动作上。

提出的方法

• 使用长时程卷积编码器从输入动作序列中提取全局时间依赖性。
• 使用短时程卷积编码器在最近帧的滑动窗口内捕捉局部时间动态。
• 将长时程与短时程隐藏表示整合到空间解码器中，以生成未来的动作帧。
• 在卷积编码器模块中应用2×7矩形核，以有效建模身体关节之间的空间关系。
• 在训练过程中引入对抗性正则化器，以提升生成动作序列的合理性，同时不增加推理复杂度。
• 采用可配置感知范围（C）的窗口化解码策略，以平衡计算成本与预测准确性。

实验结果

研究问题

• RQ1 卷积序列到序列模型是否能在长时程人体动作预测中超越RNN-based模型？
• RQ2 分层卷积编码器的使用是否能提升人体动作中时空相关性的建模能力？
• RQ3 长时程编码器在多大程度上缓解了长时程动作预测中的均值姿态问题？
• RQ4 不同卷积核形状（如2×7与4×4）对时空特征学习性能有何影响？
• RQ5 在准确性和计算效率之间权衡，短时程编码器的最佳窗口尺寸是多少？

主要发现

• 与RRNN相比，该模型在Human3.6M数据集上1000ms预测时平均测试误差降低了12.5%，达到1.77ms，优于RRNN的1.88ms。
• 在CMU Mocap数据集上，该模型在1000ms预测时平均误差为1.55ms，优于RRNN的1.67ms。
• 该模型在长时程预测中避免了收敛至均值姿态，即使在跑步和跳跃等复杂动作中也能保持动作动态。
• 消融实验表明，若移除长时程编码器，1000ms时误差增加0.11ms，凸显其在长距离依赖学习中的关键作用。
• 2×7核在所有时间步上表现最佳（80ms时为0.38ms），优于4×4核（0.41ms）和7×2核（0.40ms）。
• 对抗性正则化器略微提升了性能，且仅在训练阶段使用，因此保持了推理效率。