[论文解读] Efficient reinforcement learning control for continuum robots based on Inexplicit Prior Knowledge

Junjia Liu, Jiaying Shou+6 more|arXiv (Cornell University)|Feb 26, 2020

Soft Robotics and Applications参考文献 38被引用 8

一句话总结

该论文提出了一种基于模型的强化学习框架，通过整合隐式先验知识（IPK）来加速连续体机器人的学习过程，利用卡尔曼滤波器将先验动作与强化学习输出融合，并引入自适应利用系数以平衡探索与利用。该方法实现了数据高效的现实世界部署，在仅10,000至20,000次环境交互下完成视觉跟踪与距离保持任务。

ABSTRACT

Compared to rigid robots that are generally studied in reinforcement learning, the physical characteristics of some sophisticated robots such as soft or continuum robots are higher complicated. Moreover, recent reinforcement learning methods are data-inefficient and can not be directly deployed to the robot without simulation. In this paper, we propose an efficient reinforcement learning method based on inexplicit prior knowledge in response to such problems. We first corroborate the method by simulation and employed directly in the real world. By using our method, we can achieve active visual tracking and distance maintenance of a tendon-driven robot which will be critical in minimally invasive procedures. Codes are available at https://github.com/Skylark0924/TendonTrack.

研究动机与目标

• 解决在具有复杂非平稳动力学特性的现实世界连续体机器人中强化学习的数据效率低下问题。
• 克服模型自由强化学习与传统运动学建模在软体与连续体机器人中的局限性。
• 整合隐式先验知识（IPK）以指导策略搜索，而无需依赖显式的数学模型。
• 通过基于卡尔曼滤波器的控制器将先验知识与强化学习输出融合，确保安全有效的探索。
• 在肌腱驱动的连续体机器人上展示该方法在微创手术任务中的真实世界适用性。

提出的方法

• 提出一种基于模型的强化学习框架，通过整合隐式先验知识（IPK）引导策略探索向合理动作区域聚焦。
• 使用卡尔曼滤波器融合来自IPK和深度强化学习的动作分布，生成平衡先验知识与探索的混合动作策略。
• 引入一个基于IPK与强化学习动作分布之间Kullback-Leibler（KL）散度自适应调整的利用系数ζ。
• 实现无需仿真到现实迁移的现实世界训练流程，直接从物理机器人交互中学习。
• 通过安装在机器人末端执行器上的针孔相机实现第一人称视角的视觉伺服控制，实现实时状态观测。
• 利用电机编码器实现精确的动作执行与安全监控，防止机械过伸展。

实验结果

研究问题

• RQ1 隐式先验知识是否能显著降低连续体机器人强化学习中的样本复杂度？
• RQ2 如何有效融合先验知识与深度强化学习，在加速收敛的同时保持探索能力？
• RQ3 基于卡尔曼滤波器的融合机制是否能在结合不确定的先验动作与强化学习输出时稳定策略学习？
• RQ4 该方法在无需仿真到现实领域随机化的情况下，能在多大程度上实现真实世界部署？
• RQ5 该方法是否能在单机器人系统中实现最小交互次数下的视觉跟踪与轴向距离保持？

主要发现

• 所提方法在真实肌腱驱动连续体机器人上，仅用不到10,000次环境交互便实现了对运动目标的稳定视觉跟踪。
• 在引入基于高度的奖励塑造后，机器人在约20,000次交互内学会了保持与目标的恒定距离。
• 基于KL散度的自适应利用系数ζ成功平衡了先验知识与探索，防止了过早收敛。
• 实验结果表明，该方法所需的交互次数少于最先进基于模型的强化学习方法，展现出更优的数据效率。
• 无需仿真到现实迁移的真实世界训练流程成功捕捉了现实世界中的不确定性，使系统在物理环境中表现出鲁棒性能。
• 该方法实现了在物理机器人上的直接部署，并成功完成了微创手术相关任务，如目标跟踪与距离控制。