[论文解读] Motion Prediction Using Temporal Inception Module

Tim Lebailly, Sena Kiciroglu+3 more|arXiv (Cornell University)|Oct 6, 2020

Human Pose and Action Recognition参考文献 34被引用 7

一句话总结

该论文提出了一种时间膨胀模块（Temporal Inception Module, TIM），通过使用与输入序列长度成比例的卷积核大小，在多个时间尺度上编码人体运动轨迹，从而实现对长时序和短时序运动的更好预测。通过将这些多尺度嵌入表示与图卷积网络结合，该方法在Human3.6M和CMU Mocap数据集上取得了最先进性能，尤其在长达1000ms的长期预测中表现显著提升。

ABSTRACT

Human motion prediction is a necessary component for many applications in robotics and autonomous driving. Recent methods propose using sequence-to-sequence deep learning models to tackle this problem. However, they do not focus on exploiting different temporal scales for different length inputs. We argue that the diverse temporal scales are important as they allow us to look at the past frames with different receptive fields, which can lead to better predictions. In this paper, we propose a Temporal Inception Module (TIM) to encode human motion. Making use of TIM, our framework produces input embeddings using convolutional layers, by using different kernel sizes for different input lengths. The experimental results on standard motion prediction benchmark datasets Human3.6M and CMU motion capture dataset show that our approach consistently outperforms the state of the art methods.

研究动机与目标

• 通过利用输入序列中不同时间尺度的特征，提升人体运动预测性能。
• 解决现有RNN和DCT方法无法自适应编码长期运动模式的局限性。
• 设计一种可学习的、端到端可训练的框架，适用于所有动作类型而无需针对特定动作进行调优。
• 通过融合近期高频动态与历史低频运动模式，提升长期运动预测的性能。

提出的方法

• 时间膨胀模块（TIM）采用多个卷积核，其大小与子序列长度$M_j$成比例，以捕捉不同时间尺度上的运动特征。
• 将输入序列划分为不同长度的子序列（$M_j$），每个子序列独立通过专用卷积核处理，生成多尺度嵌入表示。
• 将不同时间尺度的嵌入表示拼接后输入图卷积网络（GCN）进行运动预测。
• 采用序列到序列损失进行端到端训练，引入残差连接以稳定训练过程并提升长时序预测性能。
• 核大小按输入长度成比例缩放（例如，核大小≈$M_j/3$），以确保各时间尺度具有合适的感受野。
• 该框架与动作类型无关，可在无需微调的情况下泛化至多种运动类型。

实验结果

研究问题

• RQ1 多尺度时间编码是否能超越固定感受场模型，在长期人体运动预测中实现性能提升？
• RQ2 相对于输入长度的核大小选择，如何影响不同时间预测范围下的预测精度？
• RQ3 同时融合短期高频动态与长期低频运动模式是否能带来更好的泛化性能？
• RQ4 单一统一架构是否能在多种运动类型上超越针对特定动作设计或基于DCT的基线模型？

主要发现

• TIM框架在Human3.6M数据集上达到最先进性能，1000ms预测时平均误差为55.7mm，优于先前方法。
• 采用比例核大小（如≈$M_j/3$）相比固定核大小能显著提升性能，尤其在长期预测中表现更优。
• 5-10-15模型（子序列长度分别为5、10、15）在'Discussion'动作上1000ms预测误差为97.1mm，显著优于5-10模型（94.6mm）和基线方法。
• 与5-10模型相比，5-10-15模型在长期预测中平均提升5.1mm的精度，证实更长上下文信息的有益作用。
• 消融实验表明，比例核大小与可变长度子序列对性能至关重要，尤其在1000ms时表现更明显。
• 该模型在所有动作类型上均表现优异，证明其具备强大的动作无关泛化能力。