[论文解读] DREAM Architecture: a Developmental Approach to Open-Ended Learning in Robotics

Stéphane Doncieux, Nicolas Bredèche+10 more|arXiv (Cornell University)|May 13, 2020

Reinforcement Learning in Robotics被引用 10

一句话总结

DREAM 架构提出了一种发展式机器人学框架，引入了第三种学习周期——重描述（redescription），与操作和学习并列，使机器人能够自主生成并适应状态表征，实现开放式的、任务无关的学习。通过整合内在动机、迁移学习以及类睡眠的离线回放机制，DREAM 实现了在连续、真实环境中的稳定世界模型学习与高效策略获取，实验结果表明其在导航任务中表现出更强的鲁棒性与表征适应能力。

ABSTRACT

Robots are still limited to controlled conditions, that the robot designer knows with enough details to endow the robot with the appropriate models or behaviors. Learning algorithms add some flexibility with the ability to discover the appropriate behavior given either some demonstrations or a reward to guide its exploration with a reinforcement learning algorithm. Reinforcement learning algorithms rely on the definition of state and action spaces that define reachable behaviors. Their adaptation capability critically depends on the representations of these spaces: small and discrete spaces result in fast learning while large and continuous spaces are challenging and either require a long training period or prevent the robot from converging to an appropriate behavior. Beside the operational cycle of policy execution and the learning cycle, which works at a slower time scale to acquire new policies, we introduce the redescription cycle, a third cycle working at an even slower time scale to generate or adapt the required representations to the robot, its environment and the task. We introduce the challenges raised by this cycle and we present DREAM (Deferred Restructuring of Experience in Autonomous Machines), a developmental cognitive architecture to bootstrap this redescription process stage by stage, build new state representations with appropriate motivations, and transfer the acquired knowledge across domains or tasks or even across robots. We describe results obtained so far with this approach and end up with a discussion of the questions it raises in Neuroscience.

研究动机与目标

• 为解决机器人在未知环境中应对未预见任务的挑战，而无需预编程的状态或动作表征。
• 通过引入动态生成或适应状态表征的重描述周期，克服传统强化学习的局限性。
• 通过共享的、可学习的表征实现在任务与机器人之间的知识迁移。
• 建模类似于人类认知发展的过程，包括表征重描述与离线学习。
• 通过在真实世界学习中测试关于睡眠相关回放与海马功能的假设，弥合机器人学与神经科学的鸿沟。

提出的方法

• 提出一个三周期框架：操作（策略执行）、学习（策略优化）与重描述（表征生成/适应），三者以逐步变慢的时间尺度运行。
• 采用内在动机机制，在缺乏外部奖励的情况下引导探索与表征发现。
• 利用迁移学习，跨任务与环境复用先前获取的知识，降低样本复杂度。
• 对过去经验进行随机顺序的离线回放，以稳定连续状态空间中的学习，类比睡眠期间海马体的回放过程。
• 通过迭代抽象实现表征重描述，将低层次的感官-运动数据转化为更高层次、与任务相关的表征。
• 采用模块化、端到端的架构，通过发展性阶段逐步构建认知能力。

实验结果

研究问题

• RQ1 机器人如何在缺乏对环境或任务先验知识的情况下，自主生成或适应新的状态表征？
• RQ2 在存在时间相关性、在线学习易受干扰的连续、高维状态空间中，何种机制可实现稳定的世界模型学习？
• RQ3 内在动机与离线回放过程如何支持跨任务与机器人可重用、可迁移的知识获取？
• RQ4 机器人发展过程在多大程度上可镜像人类般的表征重描述与认知发展？
• RQ5 类睡眠的离线过程在稳定与启动真实机器人系统中的强化学习中发挥何种作用？

主要发现

• 以随机顺序对经验进行离线回放，显著提升了连续状态空间导航中世界模型的稳定性和一致性，克服了在线学习中时间相关性带来的问题。
• 重描述周期实现了将原始感官-运动数据转化为更高层次、与任务相关的表征，从而加速并提升了策略学习的效率。
• 内在动机机制引导探索朝向信息丰富的状态，加速了有用表征与行为的发现。
• 跨任务的迁移学习显著减少了所需的真实世界样本数量，证明了所学表征的可重用性。
• 类睡眠的回放过程被证实可支持价值函数学习与世界模型获取的启动，与哺乳动物海马功能的假设相吻合。
• 该架构在真实世界机器人任务中表现出稳健性能，在适应性与样本效率方面优于纯端到端或仅基于仿真方法。