[论文解读] CURIOUS: Intrinsically Motivated Modular Multi-Goal Reinforcement Learning

Cédric Colas, Pierre Fournier+3 more|arXiv (Cornell University)|Oct 15, 2018

Reinforcement Learning in Robotics参考文献 35被引用 42

一句话总结

CURIOUS 提出一种模块化、目标条件强化学习方法（m-uvfa），结合基于内在学习进展的课程表，用于在单一策略内自主选择并学习多样的模块化目标，从而实现发展性自组织以及对干扰和扰动的鲁棒性。

ABSTRACT

In open-ended environments, autonomous learning agents must set their own goals and build their own curriculum through an intrinsically motivated exploration. They may consider a large diversity of goals, aiming to discover what is controllable in their environments, and what is not. Because some goals might prove easy and some impossible, agents must actively select which goal to practice at any moment, to maximize their overall mastery on the set of learnable goals. This paper proposes CURIOUS, an algorithm that leverages 1) a modular Universal Value Function Approximator with hindsight learning to achieve a diversity of goals of different kinds within a unique policy and 2) an automated curriculum learning mechanism that biases the attention of the agent towards goals maximizing the absolute learning progress. Agents focus sequentially on goals of increasing complexity, and focus back on goals that are being forgotten. Experiments conducted in a new modular-goal robotic environment show the resulting developmental self-organization of a learning curriculum, and demonstrate properties of robustness to distracting goals, forgetting and changes in body properties.

研究动机与目标

• 在单一策略中，利用模块化目标表示，使持续的多样化模块化目标集合得以学习。
• 引入基于绝对学习进展的内在动机机制，以指导模块与目标的回放。
• 开发一个统一的模块化策略（m-uvfa），以促进跨模块和跨目标的知识转移。
• 创建并评估一个模块化目标环境，以研究自我组织的课程与鲁棒性。

提出的方法

• 将通用值函数逼近器（uvfa）扩展为具备模块化目标输入，以形成 Modular-uvfa（m-uvfa）。
• 使用一热编码的模块描述符和目标屏蔽来在单个网络中处理多个目标模块。
• 使用无偏离策略方法（DDPG）和类似后见的目标替换进行跨目标学习。
• 通过估算每个模块的能力和学习进展来实现内在动机，并通过带epsilon-greedy探索的比例匹配策略选择模块。
• 通过在经验中替换模块描述符和目标，结合基于想象的模块-目标约束的内部奖励，来实现跨模块与跨目标回放。

实验结果

研究问题

• RQ1 单一的整体策略是否能够通过模块化输入编码来处理多样化的模块化目标？
• RQ2 基于绝对学习进展的模块选择是否相较于随机/特定模块训练在学习效率和课程发展方面有所提升？
• RQ3 跨模块和跨目标回放如何影响知识转移以及对干扰或扰动的鲁棒性？
• RQ4 当内在动机引导模块化目标强化学习中的课程时，会出现哪些自我组织的发展阶段？
• RQ5 在开放式环境中，该方法对遗忘和传感器/身体扰动的鲁棒性如何？

主要发现

• m-uvfa 相较于扁平化的 uvfa（Her）和多目标模块专家基线（mg-me）更快地学习多种模块化目标。
• 基于绝对学习进展的内在动机带来自组织的学习阶段序列（发展性课程）。
• Curious 对忘记和传感器扰动具有鲁棒性，在受到扰动后比基线恢复得更快。
• 使用 LP 指导的回放时，随着干扰性模块增加，性能下降幅度较小，相较于随机目标选择。
• 基于模块的内在选择有助于将学习资源分配给可学的目标，同时从当前不可解或过于困难的目标中抽身。