[论文解读] Model-free Reinforcement Learning for Robust Locomotion Using Trajectory Optimization for Exploration

Miroslav Bogdanović, Majid Khadiv+1 more|arXiv (Cornell University)|Jul 14, 2021

Robotic Locomotion and Control参考文献 19被引用 5

一句话总结

本文提出了一种两阶段、无模型的强化学习框架，利用单条示范轨迹实现四足机器人稳健的运动。首先，通过轨迹优化，示范轨迹引导初始探索；其次，直接优化策略以提升任务性能和对不确定性的鲁棒性，实现在无需进一步训练的情况下成功部署于真实世界。

ABSTRACT

In this work we present a general, two-stage reinforcement learning approach for going from a single demonstration trajectory to a robust policy that can be deployed on hardware without any additional training. The demonstration is used in the first stage as a starting point to facilitate initial exploration. In the second stage, the relevant task reward is optimized directly and a policy robust to environment uncertainties is computed. We demonstrate and examine in detail performance and robustness of our approach on highly dynamic hopping and bounding tasks on a real quadruped robot.

研究动机与目标

• 开发一种通用的强化学习框架，实现从单条示范到真实硬件上稳健可部署策略的过渡。
• 通过使用示范数据引导初始探索，减少对大量试错训练的依赖。
• 通过在第二阶段直接优化任务奖励，提升策略对环境不确定性的鲁棒性。
• 实现在真实四足机器人上直接部署动态运动策略（如跳跃和跳跃奔跑）而无需进一步学习。
• 证明将轨迹优化与无模型强化学习相结合，可实现高效且稳健的策略学习。

提出的方法

• 第一阶段将示范轨迹作为探索的起点，通过轨迹优化引导智能体进入有希望的策略区域。
• 第二阶段应用无模型强化学习算法，直接优化任务奖励函数。
• 通过在训练中引入扰动，使策略能够鲁棒地应对环境不确定性，确保泛化能力。
• 该方法避免学习动力学模型，转而依赖探索阶段获取的离策略数据进行直接策略优化。
• 该方法将示范提供的探索引导与端到端策略学习相结合，实现快速收敛与真实世界部署。
• 该框架被应用于高维控制任务，如真实四足机器人上的动态跳跃和跳跃奔跑。

实验结果

研究问题

• RQ1 单条示范轨迹是否能有效引导无模型强化学习在复杂运动任务中的探索？
• RQ2 示范引导的探索在策略学习中如何提升样本效率与收敛速度？
• RQ3 通过直接奖励优化训练的无模型策略，在多大程度上能实现对环境不确定性的鲁棒性？
• RQ4 这种两阶段方法是否能实现在真实硬件上直接部署策略而无需进一步微调？
• RQ5 该方法在高度动态的运动行为（如跳跃和跳跃奔跑）上表现如何？

主要发现

• 该方法仅使用单条示范且无需额外训练，成功在真实四足机器人上训练出稳健的运动策略。
• 示范显著提升了探索效率，加速了高性能策略的收敛。
• 策略在环境扰动下表现出强大的鲁棒性，能够在不确定性下保持稳定运动。
• 该方法成功实现了在硬件上部署跳跃和跳跃奔跑等动态行为。
• 该框架消除了对大量环境交互或模型学习的需求，降低了部署门槛。