[论文解读] Deep Black-Box Reinforcement Learning with Movement Primitives

Fabian Otto, Onur Çelik+4 more|arXiv (Cornell University)|Oct 18, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出了一种基于深度经验回放强化学习（ERL）的算法，采用可微分的信任区域投影层（TRPLs），以实现在高维动作空间中对运动基元进行精确的策略更新。该方法在稀疏奖励和非马尔可夫奖励设置下，性能优于基于步长的强化学习方法，生成了更高质量、更平滑且更节能的策略——尤其在跳跃、投球和乒乓球等复杂机器人控制任务中表现优异。

ABSTRACT

\Episode-based reinforcement learning (ERL) algorithms treat reinforcement learning (RL) as a black-box optimization problem where we learn to select a parameter vector of a controller, often represented as a movement primitive, for a given task descriptor called a context. ERL offers several distinct benefits in comparison to step-based RL. It generates smooth control trajectories, can handle non-Markovian reward definitions, and the resulting exploration in parameter space is well suited for solving sparse reward settings. Yet, the high dimensionality of the movement primitive parameters has so far hampered the effective use of deep RL methods. In this paper, we present a new algorithm for deep ERL. It is based on differentiable trust region layers, a successful on-policy deep RL algorithm. These layers allow us to specify trust regions for the policy update that are solved exactly for each state using convex optimization, which enables policies learning with the high precision required for the ERL. We compare our ERL algorithm to state-of-the-art step-based algorithms in many complex simulated robotic control tasks. In doing so, we investigate different reward formulations - dense, sparse, and non-Markovian. While step-based algorithms perform well only on dense rewards, ERL performs favorably on sparse and non-Markovian rewards. Moreover, our results show that the sparse and the non-Markovian rewards are also often better suited to define the desired behavior, allowing us to obtain considerably higher quality policies compared to step-based RL.

研究动机与目标

• 解决将深度强化学习应用于基于经验回放的高维运动基元参数时所面临的挑战。
• 在稀疏和非马尔可夫奖励设置下实现有效学习，而这些场景下基于步长的RL通常会失效。
• 开发一种适用于高维参数空间的鲁棒且精确的策略更新机制。
• 证明稀疏和非马尔可夫奖励可生成优于人工设计的密集奖励的高质量策略。

提出的方法

• 利用可微分的信任区域投影层（TRPLs）在策略更新过程中精确施加信任区域，确保在高维动作空间中的高精度。
• 采用黑箱强化学习框架，其中上下文感知策略负责预测运动基元参数。
• 使用运动基元（MPs）生成平滑的、基于轨迹的控制策略。
• 集成轨迹跟踪控制器，将期望状态映射为每个时间步的低层动作。
• 将运动基元参数预测视为控制器参数空间上的黑箱优化问题。
• 通过TRPLs实现凸优化，精确求解信任区域，避免PPO类方法中常见的近似误差。

实验结果

研究问题

• RQ1 基于可微分信任区域的深度ERL是否能在稀疏和非马尔可夫奖励设置下超越基于步长的RL？
• RQ2 非马尔可夫和稀疏奖励是否能生成比密集马尔可夫奖励更高质量、更节能的策略？
• RQ3 TRPLs是否能在高维运动基元参数空间中实现稳定且精确的策略更新？
• RQ4 所提出的方法是否对复杂、现实世界任务的设定具有鲁棒性，而这些设定难以通过密集奖励表达？

主要发现

• 在跳跃者跳跃任务中，BBRL-TRPL实现了约20厘米的质心最大高度，比PPO高出20%，且目标定位精度更高。
• 在啤酒杯投掷任务中，BBRL-TRPL成功实现了动态释放时机下的投球入杯，而PPO即使在固定最优释放时机下也未能成功。
• 在乒乓球任务中，BBRL-TRPL在超过60%的情况下能将球击回目标区域，而PPO和BBRL-PPO均无法达到足够精度。
• 该方法在非马尔可夫设置下持续优于PPO和TRPL，证明了其对复杂、时序敏感行为的鲁棒性。
• 稀疏和非马尔可夫奖励生成的策略比密集人工奖励更节能且更具鲁棒性。
• CMORE能够可靠地投球，但仅适用于部分上下文；而BBRL-TRPL则在完整上下文空间中实现了泛化。