[论文解读] Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning

Ayaka Kume, Eiichi Matsumoto+3 more|arXiv (Cornell University)|Oct 17, 2017

Reinforcement Learning in Robotics参考文献 30被引用 9

一句话总结

该论文提出了一种基于地图的多策略强化学习（MMPRL）方法，通过深度强化学习预先训练并存储多种多样化的机器人控制策略于行为-性能地图中。通过利用贝叶斯优化从预训练策略中快速选择，而无需重新训练，MMPRL使机器人能够迅速适应环境变化和物理损伤，在多种故障场景下优于单策略方法。

ABSTRACT

In order for robots to perform mission-critical tasks, it is essential that they are able to quickly adapt to changes in their environment as well as to injuries and or other bodily changes. Deep reinforcement learning has been shown to be successful in training robot control policies for operation in complex environments. However, existing methods typically employ only a single policy. This can limit the adaptability since a large environmental modification might require a completely different behavior compared to the learning environment. To solve this problem, we propose Map-based Multi-Policy Reinforcement Learning (MMPRL), which aims to search and store multiple policies that encode different behavioral features while maximizing the expected reward in advance of the environment change. Thanks to these policies, which are stored into a multi-dimensional discrete map according to its behavioral feature, adaptation can be performed within reasonable time without retraining the robot. An appropriate pre-trained policy from the map can be recalled using Bayesian optimization. Our experiments show that MMPRL enables robots to quickly adapt to large changes without requiring any prior knowledge on the type of injuries that could occur. A highlight of the learned behaviors can be found here: https://youtu.be/QwInbilXNOE .

研究动机与目标

• 解决单策略深度强化学习在面对环境或物理变化时适应能力有限的问题。
• 通过利用预训练策略实现在无需重新训练情况下的快速适应，以应对意外损伤或扰动。
• 在外部支援不可用且时间关键的任务关键型机器人任务中提升鲁棒性。
• 基于行为特征在多维离散地图中存储策略，以实现在适应过程中的高效检索。
• 证明多策略学习在多样化故障和环境场景下优于单策略DDPG。

提出的方法

• MMPRL使用深度强化学习（DDPG）训练多个具有不同行为特征的多样化策略。
• 策略存储于一个以行为描述符（如步态类型、速度和稳定性）为索引的多维离散地图中。
• 通过使用贝叶斯优化（M-BOA）查询地图，选择最适合当前状态的预训练策略，实现适应。
• 该方法采用行为-性能地图，确保训练过程中策略的多样性并避免冗余。
• 提出了一种好奇心驱动的奖励项，作为未来优化，以改善地图创建过程中的探索效率。
• 通过从预计算的策略库中选择策略，实现在线实时适应，避免昂贵的在线重训练。

实验结果

研究问题

• RQ1 与单策略DRL相比，多策略方法是否能显著提升机器人对意外环境变化和物理损伤的适应能力？
• RQ2 预训练策略库在无需重新训练的情况下，能否高效实现快速适应？
• RQ3 地图中策略的多样性在多类故障模式下在多大程度上提升了整体性能？
• RQ4 在时间受限条件下，贝叶斯优化能否有效从地图中选择最优策略？
• RQ5 MMPRL在学习高维策略方面与标准DDPG和MAP-Elites相比表现如何？

主要发现

• 当腿部关节失效时，MMPRL在平均3.5次尝试（硬件上11.4秒）内实现适应，100次运行中成功率超过90%。
• 对于更复杂的故障（如失去多个脚趾，例如T3、T25），平均适应尝试次数为27.3次（90.1秒），在实际部署中仍属可接受。
• 该方法成功适应了非预期变化，如延迟观测（D）和斜坡地形（S），即使这些未被纳入行为描述符。
• 在80%的测试案例中，MMPRL在适应后表现优于单个DDPG策略，尤其在攀爬更高台阶等挑战性场景中表现更优。
• 在较简单情况（T3）下，ρ=0.2时达到最佳策略选择；在严格尝试次数限制（5–10次）下，ρ=0.4更为有效，表明适应过程具有可调性。
• 尽管某些独立的DDPG策略在正常条件下表现优于单个MMPRL策略，但在其他场景下均失效，证明了MMPRL多策略策略的优越性。