[论文解读] Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance Action Space

Maximilian Ulmer, Elie Aljalbout+2 more|arXiv (Cornell University)|Oct 19, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出 AFORCE，一种受生物启发的分层动作空间，结合强化学习（RL）与实时自适应力-阻抗控制，以提升机器人操作任务中的样本效率、能效和安全性。通过将高层任务规划与底层物理交互控制解耦，AFORCE 实现了在真实硬件上的稳定、柔顺操作，并在仿真和真实世界的接触丰富任务中优于基线动作空间。

ABSTRACT

Intelligent agents must be able to think fast and slow to perform elaborate manipulation tasks. Reinforcement Learning (RL) has led to many promising results on a range of challenging decision-making tasks. However, in real-world robotics, these methods still struggle, as they require large amounts of expensive interactions and have slow feedback loops. On the other hand, fast human-like adaptive control methods can optimize complex robotic interactions, yet fail to integrate multimodal feedback needed for unstructured tasks. In this work, we propose to factor the learning problem in a hierarchical learning and adaption architecture to get the best of both worlds. The framework consists of two components, a slow reinforcement learning policy optimizing the task strategy given multimodal observations, and a fast, real-time adaptive control policy continuously optimizing the motion, stability, and effort of the manipulator. We combine these components through a bio-inspired action space that we call AFORCE. We demonstrate the new action space on a contact-rich manipulation task on real hardware and evaluate its performance on three simulated manipulation tasks. Our experiments show that AFORCE drastically improves sample efficiency while reducing energy consumption and improving safety.

研究动机与目标

• 解决深度强化学习在真实世界机器人操作任务中样本效率低下和不稳定的挑战。
• 将快速、响应式的自适应控制与缓慢、战略性的强化学习策略学习相结合，以提升性能。
• 开发一种新型动作空间，实现在接触丰富任务中力和阻抗的连续自适应。
• 在仿真和真实硬件上评估该方法，重点关注样本效率、能耗和安全性。
• 证明分层控制结合受生物启发的动作空间可在复杂操作任务中优于标准强化学习动作空间。

提出的方法

• AFORCE 引入了一种笛卡尔自适应力-阻抗控制动作空间，通过将高层任务策略与底层物理交互控制解耦。
• 高层强化学习策略在小规模、多模态观测空间上运行，以规划任务策略；而底层自适应控制器则持续调整力和阻抗以确保稳定性和柔顺性。
• 该框架采用受人类运动控制启发的分层控制架构，其中强化学习策略设定期望的力和阻抗参数，而自适应控制器实时执行这些参数。
• 该动作空间旨在支持机械阻抗和接触力的连续、实时自适应，这对扰动抑制和能效至关重要。
• 该方法在三个任务（Lift、Wipe、Door）的仿真环境中进行评估，并在 Franka Emika Panda 机器人上通过真实硬件进行了验证。
• 自适应参数（如刚度和阻尼）通过人工调参确定，但未来工作计划与策略联合学习这些参数。

实验结果

研究问题

• RQ1 受生物启发的分层动作空间是否能提升深度强化学习在机器人操作中的样本效率？
• RQ2 与标准动作空间相比，AFORCE 在学习稳定性与收敛速度方面表现如何？
• RQ3 AFORCE 在接触丰富操作任务中对能效和安全性的提升程度如何？
• RQ4 将实时自适应控制与强化学习相结合，是否能在真实硬件上实现稳定、柔顺的行为？
• RQ5 将任务规划与物理交互控制分离，是否能增强鲁棒性与性能？

主要发现

• 在 Wipe 任务中，AFORCE 仅用 500,000 次训练步骤便达到一致的最大奖励，其学习速度和成功率均优于所有基线方法。
• 在 Wipe 任务中，AFORCE 仅经过几次训练回合便成功清除了所有污渍标记，而其他方法无法维持稳定的接触或力控制。
• 与可变动作空间及可变+力动作空间相比，AFORCE 在 Wipe 环境中显著降低了平均能耗。
• 在 Wipe 任务中，AFORCE 的惩罚率最低，仅 12% 的回合受到安全惩罚，而基于可变动作空间的方法超过 75% 的回合受到惩罚。
• 低+力动作空间的平均每回合惩罚最低（17.16），但 AFORCE 仅略高（17.76），而可变动作空间的平均惩罚超过 400 次/回合。
• AFORCE 展现出稳定的训练过程，多个随机种子下的奖励方差较低，表明策略收敛具有鲁棒性。