[论文解读] Ego-Pose Estimation and Forecasting as Real-Time PD Control

Ye Yuan, Kris Kitani|arXiv (Cornell University)|Jun 7, 2019

Human Pose and Action Recognition参考文献 68被引用 10

一句话总结

该论文提出了一种基于强化学习的方法，将3D自体姿态估计与预测建模为物理模拟器中的实时比例-微分（PD）控制问题，输入为未分割的视角视频和动作捕捉数据。该方法在姿态估计与长时程预测任务中均实现了最先进水平的准确率与稳定性，推理速度达30 FPS，适用于实时部署。

ABSTRACT

We propose the use of a proportional-derivative (PD) control based policy learned via reinforcement learning (RL) to estimate and forecast 3D human pose from egocentric videos. The method learns directly from unsegmented egocentric videos and motion capture data consisting of various complex human motions (e.g., crouching, hopping, bending, and motion transitions). We propose a video-conditioned recurrent control technique to forecast physically-valid and stable future motions of arbitrary length. We also introduce a value function based fail-safe mechanism which enables our method to run as a single pass algorithm over the video data. Experiments with both controlled and in-the-wild data show that our approach outperforms previous art in both quantitative metrics and visual quality of the motions, and is also robust enough to transfer directly to real-world scenarios. Additionally, our time analysis shows that the combined use of our pose estimation and forecasting can run at 30 FPS, making it suitable for real-time applications.

研究动机与目标

• 为解决从未分割的视角视频中估计与预测复杂、多模态人体运动的挑战。
• 开发一种无需依赖分割运动片段即可生成物理上合理且稳定的未来运动的方法。
• 通过单次遍历、流式兼容的架构实现实时推理，同时完成姿态估计与预测。
• 克服基于控制的方法在推理过程中因域移位导致的不稳定性，以及在物理模拟器中跌倒的问题。
• 设计一种专为未分割、多模态人体运动数据定制的新奖励函数与基于值函数的故障保护机制。

提出的方法

• 将自体姿态估计与预测建模为马尔可夫决策过程（MDP），使用深度强化学习策略控制类人智能体。
• 以PD控制器的目标关节位置作为动作空间，实现在物理模拟器中的稳定与动态运动驱动。
• 采用视频条件化的循环策略，使用双向LSTM进行姿态估计，使用单向LSTM进行未来运动预测，从视觉上下文编码运动阶段。
• 提出一种专为未分割、多模态运动数据设计的新奖励函数，包含衰减分量以优先保证近未来预测的准确性。
• 实现基于值函数的故障保护机制，可提前预测并防止在推理过程中类人智能体跌倒，从而实现稳定单次遍历运行。
• 使用视角视频中的光流与CNN特征作为视觉输入，推理在主流硬件上以30 FPS运行。

实验结果

研究问题

• RQ1 基于PD控制的策略是否可通过深度强化学习准确估计并预测来自未分割视角视频的3D人体姿态？
• RQ2 如何在不累积误差或出现运动学漂移的情况下，生成物理上合理且稳定的长时程未来运动？
• RQ3 基于值函数估计的故障保护机制是否可在无需推理时微调的情况下，防止在实时推理过程中物理模拟器中的跌倒？
• RQ4 该方法在受控环境与真实世界场景中，对多样化、复杂的人体运动（如下蹲、单脚跳、动作转换）的性能表现如何？
• RQ5 该方法在跨主体场景下的泛化能力如何？是否可直接迁移至真实世界场景而无需微调？

主要发现

• 所提方法在姿态估计与预测任务中均达到最先进性能，优于以往方法，在姿态误差、速度误差及重置次数等定量指标上表现更优。
• 在跨主体评估中，方法在1000个测试序列中仅出现4次重置，表现出对未见受试者的强泛化能力。
• 在自体姿态预测任务中，方法在1秒预测时延下姿态误差为1.179，3秒时延下为1.339，显著优于ERD与acLSTM等基线方法。
• 方法在主流CPU与GTX 1080Ti显卡上以30 FPS运行，实现低至1/3秒延迟的双向姿态估计，支持实时推理。
• 定性结果表明，估计与预测的姿态在视觉上准确，且与真实值同步，包括下蹲到行走等自然过渡动作。
• 消融研究证实，所提奖励函数与故障保护机制对性能至关重要；若移除二者，将导致策略不稳定及加速度/抖动增加。