[论文解读] Human Motion Anticipation with Symbolic Label

Julian Tanke, Andreas Weber⋆+1 more|arXiv (Cornell University)|Dec 12, 2019

Human Pose and Action Recognition参考文献 31被引用 6

一句话总结

该论文提出了一种新颖的人体运动预测框架，通过在生成未来姿态之前预测符号化动作标签（例如，行走、站立），结合过去运动和预测的意图来实现。通过将姿态生成条件化于未来符号化标签，该模型在Human 3.6M数据集上实现了长达4秒的长期人体运动预测的最先进性能，显著减少了平均姿态退化现象，并提升了运动的平滑性。

ABSTRACT

Anticipating human motion depends on two factors: the past motion and the person's intention. While the first factor has been extensively utilized to forecast short sequences of human motion, the second one remains elusive. In this work we approximate a person's intention via a symbolic representation, for example fine-grained action labels such as walking or sitting down. Forecasting a symbolic representation is much easier than forecasting the full body pose with its complex inter-dependencies. However, knowing the future actions makes forecasting human motion easier. We exploit this connection by first anticipating symbolic labels and then generate human motion, conditioned on the human motion input sequence as well as on the forecast labels. This allows the model to anticipate motion changes many steps ahead and adapt the poses accordingly. We achieve state-of-the-art results on short-term as well as on long-term human motion forecasting.

研究动机与目标

• 为解决长期人体运动预测的挑战，现有模型常因误差累积而收敛至平均姿态。
• 通过引入高层意图的符号化动作标签，提升运动预测性能，符号化标签比完整3D姿态更易预测。
• 通过预测未来动作，使模型能够提前预见运动变化，从而指导生成更逼真的姿态。
• 评估符号化表示对运动预测性能的影响，包括监督与无监督的标签提取方法。
• 证明符号化标签预测与对抗性训练具有互补性，可进一步提升性能。

提出的方法

• 模型使用编码-解码序列到序列的循环神经网络，从观测到的运动序列中预测符号化动作标签，以过去姿态作为输入。
• 引入一个符号化标签提取模块，从观测到的姿态中预测每一帧的动作类别概率，支持端到端训练。
• 将未来符号化标签与过去姿态拼接，并通过独立的循环编码器（姿态编码器与标签编码器）编码，形成上下文向量。
• 采用循环姿态生成器，基于过去姿态序列以及过去和未来的符号化标签，生成未来姿态，实现前瞻性的运动合成。
• 训练过程中采用热身策略（教师强制）以稳定早期预测并减少不连续性。
• 该框架支持监督标签（11种人工标注动作）与无监督聚类（k=11至32）两种方式，用于符号化表示学习。

实验结果

研究问题

• RQ1 与直接回归姿态相比，预测符号化动作标签是否能提升长期人体运动预测性能？
• RQ2 包含未来符号化标签是否能提升生成运动序列的真实感与平滑性？
• RQ3 符号化表示的质量（如k=11与k=32）对运动预测性能有何影响？
• RQ4 模型在不同时间跨度下的性能表现如何，特别是在长期预测（如4秒）场景下？
• RQ5 符号化标签预测在多大程度上与对抗性训练互补，从而提升运动生成性能？

主要发现

• 该模型在Human 3.6M数据集上实现了长达4秒的运动预测最先进性能，优于现有方法在长期预测中的表现。
• 在25帧的预测时延下，使用人工标注动作时，符号化标签预测准确率达到78%。
• 使用无监督聚类（k=11）时，标签预测准确率下降至67%，但长期预测性能依然强劲。
• 该模型显著减少了平均姿态退化：若无符号化标签，运动在约1秒后会冻结为平均姿态；而加入标签后，运动可保持数秒的连贯性。
• 消融实验证实，标签编码与姿态编码均至关重要——任一缺失均导致性能下降，而完全省略标签则导致最差结果。
• 更长的热身周期（w ≥ 1）可提升长期性能，表明热身策略有助于更快收敛至稳定运动状态。