[论文解读] Improving Human Motion Prediction Through Continual Learning

Mohammad Samin Yasar, Tariq Iqbal|arXiv (Cornell University)|Jul 1, 2021

Human Pose and Action Recognition参考文献 37被引用 4

一句话总结

本文提出了一种用于人体动作预测的持续学习框架，首先在多样化的基准数据集上预训练一个鲁棒表示，然后仅通过课程学习在目标受试者上微调解码器。该方法在短时、中时和长时预测范围内均实现了最先进性能，且仅需极少的微调数据，显著优于基线模型，并通过保留泛化能力同时捕捉个体动作细微特征，有效缓解了灾难性遗忘。

ABSTRACT

Human motion prediction is an essential component for enabling closer human-robot collaboration. The task of accurately predicting human motion is non-trivial. It is compounded by the variability of human motion, both at a skeletal level due to the varying size of humans and at a motion level due to individual movement's idiosyncrasies. These variables make it challenging for learning algorithms to obtain a general representation that is robust to the diverse spatio-temporal patterns of human motion. In this work, we propose a modular sequence learning approach that allows end-to-end training while also having the flexibility of being fine-tuned. Our approach relies on the diversity of training samples to first learn a robust representation, which can then be fine-tuned in a continual learning setup to predict the motion of new subjects. We evaluated the proposed approach by comparing its performance against state-of-the-art baselines. The results suggest that our approach outperforms other methods over all the evaluated temporal horizons, using a small amount of data for fine-tuning. The improved performance of our approach opens up the possibility of using continual learning for personalized and reliable motion prediction.

研究动机与目标

• 为解决在真实人机协作场景中，由于个体动作特异性和分布偏移导致模型泛化能力受限的人体动作预测挑战。
• 在仅用少量数据适应新个体时，缓解动作预测模型中的灾难性遗忘问题。
• 通过在持续学习设置中结合通用表示学习与特定受试者的微调，实现在个性化动作预测。
• 通过在微调过程中引入课程学习，提升在短时、中时和长时预测范围内的预测准确性。
• 证明仅微调解码器而冻结编码器可实现显著性能提升，且不会导致过拟合。

提出的方法

• 该框架采用模块化编码器-解码器架构，在多样化基准数据集上使用对抗正则化进行预训练，以学习鲁棒的通用表示。
• 在第二阶段，仅使用课程学习设置对特定受试者的数据微调解码器，训练从较简单的序列开始，逐步过渡到更复杂的序列。
• 微调过程中冻结编码器权重，以保留通用表示并降低灾难性遗忘风险。
• 课程学习策略包括：每个受试者使用四次试验中的一次进行训练，其余三次用于测试，结合早停和基于验证的模型选择。
• 模型在第一阶段端到端训练，随后以两阶段流程进行微调：先在基准数据上预训练，再进行特定受试者的适应。
• 评估使用均方误差（MSE）作为主要指标，按关节约和时间步长计算，以评估姿态预测准确性。

实验结果

研究问题

• RQ1 持续学习方法是否能在最小化灾难性遗忘的同时，提升在多样化时间范围内的动作预测准确性？
• RQ2 在少量特定受试者数据上仅微调解码器，是否能显著优于非课程学习的基线模型？
• RQ3 在微调过程中引入课程学习，如何影响模型对特定个体未见动作模式的泛化能力？
• RQ4 预训练的通用表示在仅用极少数据的情况下，通过模块化、解耦的微调策略，能在多大程度上有效适应新受试者？
• RQ5 所提方法是否能在短时和长时动作预测中均超越零速度基线和最先进模型？

主要发现

• 所提方法在所有评估的时间范围（2、4、8、10、13、15帧）内均优于所有基线模型，包括最先进非课程学习模型和零速度基线。
• 性能提升在中时和长时预测中最为显著，模型生成的动作序列在感知上更接近真实值，且MSE更低。
• 对于运动动态较高的受试者（如受试者4和6），模型相比零速度基线表现出显著改进，表明其有效学习了复杂运动模式。
• 即使仅使用一次试验进行微调，模型的MSE仍低于非课程学习基线，证明了课程学习设置的有效性。
• 该框架对灾难性遗忘具有鲁棒性，因为编码器未被更新，通用表示在不同受试者适应过程中保持稳定。
• 结果表明，仅微调解码器已足够实现显著性能提升，未来工作可通过微调编码器进一步优化性能。