[论文解读] Imitation Learning for Human Pose Prediction

Borui Wang, Ehsan Adeli+3 more|arXiv (Cornell University)|Sep 8, 2019

Human Pose and Action Recognition参考文献 50被引用 5

一句话总结

该论文提出了一种新颖的模仿学习框架，用于人体姿态预测，通过在强化学习框架内结合行为克隆（behavioral cloning）与生成对抗模仿学习（GAIL），实现了在Human 3.6M数据集上的最先进性能，显著优于先前模型在短期和长期姿态预测中的表现，同时训练速度比基线方法快达24倍。

ABSTRACT

Modeling and prediction of human motion dynamics has long been a challenging problem in computer vision, and most existing methods rely on the end-to-end supervised training of various architectures of recurrent neural networks. Inspired by the recent success of deep reinforcement learning methods, in this paper we propose a new reinforcement learning formulation for the problem of human pose prediction, and develop an imitation learning algorithm for predicting future poses under this formulation through a combination of behavioral cloning and generative adversarial imitation learning. Our experiments show that our proposed method outperforms all existing state-of-the-art baseline models by large margins on the task of human pose prediction in both short-term predictions and long-term predictions, while also enjoying huge advantage in training speed.

研究动机与目标

• 为解决基于监督RNN方法在人体姿态预测中的局限性，如泛化能力差以及短期与长期精度之间的不平衡问题。
• 利用深度强化学习的优势——尤其是泛化能力和序列一致性——来建模人体运动动力学。
• 开发一种模仿学习框架，从专家演示（真实人体运动序列）中学习，而无需环境奖励信号。
• 通过结合行为克隆与GAIL的混合方法，提升样本效率与策略泛化能力。
• 在保持或提升预测精度的同时，实现比现有最先进模型更快的训练速度。

提出的方法

• 将人体姿态预测建模为一个无环境奖励信号的强化学习问题，利用真实人体运动序列中的专家演示。
• 采用生成对抗模仿学习（GAIL），通过判别器网络 $D_w$ 和策略生成器 $\pi_\theta$ 区分专家轨迹与生成轨迹。
• 结合序列到序列架构，以建模姿态序列中的长期依赖关系，并处理可变长度的历史观测。
• 使用行为克隆作为预训练步骤，以初始化策略网络，提升样本效率与收敛速度。
• 应用深度确定性策略梯度（DDPG）算法，以在典型的人体姿态输出所处的连续、高维动作空间中优化策略。
• 实施滑动窗口预测策略（例如，每2帧预测一次），以提升训练稳定性与长时程预测性能。

实验结果

研究问题

• RQ1 与监督RNN相比，基于强化学习的模仿学习框架是否能同时提升人体姿态预测的短期与长期精度？
• RQ2 将行为克隆与GAIL结合，对姿态预测中的样本效率与收敛速度有何影响？
• RQ3 所提方法在未见的人体运动领域（训练数据中未包含的领域）中，其泛化能力能达到何种程度？
• RQ4 所提方法是否在保持优越性能的同时，实现了比现有最先进模型更快的训练速度？
• RQ5 该框架是否可扩展以在未来姿态预测中建模复杂因素，如环境、物体与意图？

主要发现

• 所提出的BC+WGAIL-div方法在Human 3.6M数据集上实现了新的最先进性能，无论是在短期（如80ms）还是长期（如1000ms）姿态预测中，均优于所有先前模型。
• 在1000ms预测时，该方法实现了1.32°的平均角度误差，显著低于次优基线模型（行为克隆单独为1.36°，WGAIL-div单独为1.33°）。
• 与最佳基线模型（Residual）相比，该模型在长期预测中将平均角度误差降低了最多19%，尤其在复杂活动中改善最为显著。
• 使用4块NVIDIA Titan GPU，训练时间缩短至20分钟以内，相比基线模型（如Residual和TP-RNN）超过8小时的训练时间，实现了24倍的加速。
• 消融实验表明，行为克隆与WGAIL-div均不可或缺：移除任一组件均导致性能下降，证明二者具有互补作用。
• 可视化结果表明，预测姿态更加自然，且与真实姿态更接近，尤其在长序列中表现更优。