[论文解读] Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning

Guillermo Garcia-Hernando, Edward Johns+1 more|arXiv (Cornell University)|Aug 7, 2020

Robot Manipulation and Learning参考文献 65被引用 10

一句话总结

本文提出了一种残差强化学习框架，通过校正深度传感器获取的噪声3D手部姿态估计，实现在虚拟现实（VR）环境和真实场景中的物理驱动灵巧操作与动作重建。通过在物理模拟器中训练一个无模型的强化学习+模仿学习（RL+IL）智能体，对关节进行微小而精确的修正，该方法在“倒果汁”任务中实现了93%的任务成功率，在“递硬币”任务中达到83.3%，显著优于基线方法，并显著缩小了输入姿态与物理上准确的虚拟动作之间的差距。

ABSTRACT

Dexterous manipulation of objects in virtual environments with our bare hands, by using only a depth sensor and a state-of-the-art 3D hand pose estimator (HPE), is challenging. While virtual environments are ruled by physics, e.g. object weights and surface frictions, the absence of force feedback makes the task challenging, as even slight inaccuracies on finger tips or contact points from HPE may make the interactions fail. Prior arts simply generate contact forces in the direction of the fingers' closures, when finger joints penetrate virtual objects. Although useful for simple grasping scenarios, they cannot be applied to dexterous manipulations such as in-hand manipulation. Existing reinforcement learning (RL) and imitation learning (IL) approaches train agents that learn skills by using task-specific rewards, without considering any online user input. In this work, we propose to learn a model that maps noisy input hand poses to target virtual poses, which introduces the needed contacts to accomplish the tasks on a physics simulator. The agent is trained in a residual setting by using a model-free hybrid RL+IL approach. A 3D hand pose estimation reward is introduced leading to an improvement on HPE accuracy when the physics-guided corrected target poses are remapped to the input space. As the model corrects HPE errors by applying minor but crucial joint displacements for contacts, this helps to keep the generated motion visually close to the user input. Since HPE sequences performing successful virtual interactions do not exist, a data generation scheme to train and evaluate the system is proposed. We test our framework in two applications that use hand pose estimates for dexterous manipulations: hand-object interactions in VR and hand-object motion reconstruction in-the-wild.

研究动机与目标

• 仅使用深度传感器和3D手部姿态估计器（HPE），无需侵入式硬件，实现在虚拟环境中逼真且由物理引导的灵巧手-物体交互。
• 解决姿态估计误差和物理模拟中缺乏力反馈的问题，这些问题是复杂操作任务失败的原因。
• 开发一种残差校正机制，在保持与输入动作视觉相似性的同时，提升HPE的准确性与任务成功率。
• 通过结合强化学习与模仿学习的混合方法（RL+IL）训练策略，实现在多种灵巧操作任务上的泛化能力，并引入姿态奖励机制。
• 通过端到端基于模拟的训练，弥合噪声用户输入姿态与物理上有效的虚拟手部动作之间的领域差距。

提出的方法

• 在物理模拟器中，采用无模型强化学习设置训练一个残差智能体，将噪声HPE输出优化为物理上合理的目标姿态。
• 该方法结合强化学习与对抗性模仿学习（IL），利用判别器鼓励策略生成的动作与专家动作捕捉轨迹相似。
• 提出一种新颖的3D手部姿态估计奖励，以最小化虚拟手部姿态与输入RGBD图像之间的重投影误差，从而提升HPE的准确性。
• 设计一种数据生成方案，通过结合动作捕捉数据与公开的手部姿态数据集，合成训练序列，实现在无需真实世界交互数据的情况下进行监督预训练与评估。
• 系统通过逆运动学函数将用户输入姿态映射到虚拟手部模型，再施加微小的残差校正，以实现接触丰富的交互。
• 该框架在两种场景下进行评估：实时VR交互与真实场景中的动作重建，且在两种场景中均使用相同的策略。

实验结果

研究问题

• RQ1 残差强化学习智能体能否有效校正噪声3D手部姿态估计，从而在模拟环境中实现成功的物理驱动灵巧操作？
• RQ2 引入姿态估计奖励后，校正后的虚拟手部姿态在视觉保真度和准确性方面，与输入姿态相比有何提升？
• RQ3 在复杂操作任务中，混合RL+IL方法相较于纯模仿学习或启发式闭合基线方法，性能提升程度如何？
• RQ4 尽管在精细任务中对姿态误差高度敏感，该框架是否仍能跨不同操作任务（如“倒果汁”与“递硬币”）实现良好泛化？
• RQ5 如何通过合成数据生成缩小真实部署场景中训练与测试性能之间的差距？

主要发现

• 所提方法在测试集上于“倒果汁”任务中实现了93.0%的任务成功率，在“递硬币”任务中达到83.3%，显著优于次优基线方法（闭合手）的55.0%与38.0%。
• 在姿态奖励的加持下，方法在“递硬币”测试集上的3D手部姿态误差（E_pose）降低至33.15 mm，而闭合手基线方法为35.46 mm。
• 在“倒果汁”测试集中，系统在不稳定性发生前的平均序列长度（T̄）达到总长度的59.6%，优于闭合手基线（47.0%）与IK方法（24.8%）。
• 在“倒果汁”训练集中，方法实现了98.2%的T̄与25.43 mm的E_pose，表明策略在训练过程中具备出色的泛化能力与稳定性。
• 消融实验表明，若移除姿态奖励，性能显著下降，证实其在保持与输入姿态视觉相似性方面的重要作用。
• 尽管在“递硬币”任务中存在过拟合风险，方法在训练集上仍取得80.0%的成功率，在测试集上达到83.3%，展现出对高精度挑战的鲁棒性。