[论文解读] Mix & Match Agent Curricula for Reinforcement Learning

Wojciech Marian Czarnecki, Siddhant M. Jayakumar+6 more|arXiv (Cornell University)|Jun 5, 2018

Reinforcement Learning in Robotics参考文献 20被引用 29

一句话总结

Mix & Match (M&M) 是一种用于强化学习的课程学习框架，通过逐步从更简单、更易训练的代理变体中蒸馏知识，来训练复杂的最终目标代理。该方法采用动态策略混合与基于KL散度的蒸馏技术，能够实现更快、更稳定的训练，尤其适用于动作空间较大或架构复杂的代理，在3D环境中相比标准方法表现出更优的性能。

ABSTRACT

We introduce Mix&Match (M&M) - a training framework designed to facilitate rapid and effective learning in RL agents, especially those that would be too slow or too challenging to train otherwise. The key innovation is a procedure that allows us to automatically form a curriculum over agents. Through such a curriculum we can progressively train more complex agents by, effectively, bootstrapping from solutions found by simpler agents. In contradistinction to typical curriculum learning approaches, we do not gradually modify the tasks or environments presented, but instead use a process to gradually alter how the policy is represented internally. We show the broad applicability of our method by demonstrating significant performance gains in three different experimental setups: (1) We train an agent able to control more than 700 actions in a challenging 3D first-person task; using our method to progress through an action-space curriculum we achieve both faster training and better final performance than one obtains using traditional methods. (2) We further show that M&M can be used successfully to progress through a curriculum of architectural variants defining an agents internal state. (3) Finally, we illustrate how a variant of our method can be used to improve agent performance in a multitask setting.

研究动机与目标

• 为解决训练复杂强化学习代理时因速度过慢或训练不稳定而无法从零开始训练的挑战。
• 克服传统课程学习的局限性，后者需要对任务进行修改，且在环境设计固定时无法适用。
• 开发一种方法，通过架构课程，实现从更简单、更易训练的代理向最终复杂目标代理的知识迁移。
• 提升在动作空间较大或代理架构复杂的挑战性3D环境中数据效率与最终性能。
• 提供一种可泛化的框架，适用于多种强化学习场景，且无需对环境或任务规范进行修改。

提出的方法

• 该框架使用混合策略 πmm = Σ αiπi，其中 αi 为随时间变化的混合系数，训练过程中逐步从简单代理过渡到更复杂的代理。
• 通过KL散度损失实现知识蒸馏：L = (1−α)DKL(π1∥π2)，鼓励复杂代理在训练初期匹配更简单代理的行为。
• 混合系数 α 从 α1=1（仅使用简单代理）逐渐增加至 αK=1（仅使用目标代理），从而在代理架构上形成课程。
• 该方法支持动作空间课程（动作空间大小变化）与架构课程（内部状态表示变化）。
• 蒸馏过程在训练期间在线执行，最终策略仅使用目标代理的策略进行经验收集。
• 该方法与标准强化学习算法兼容，当允许修改环境时，也可与基于任务的课程结合使用。

实验结果

研究问题

• RQ1 在深度强化学习中，是否可以通过代理架构的课程而非任务课程，提升训练效率与最终性能？
• RQ2 如何在不修改环境的前提下，有效实现从更简单、更易训练的代理向复杂目标代理的知识迁移？
• RQ3 通过策略混合与蒸馏进行渐进式训练，是否能在大动作空间的3D环境中实现更快收敛与更优最终性能？
• RQ4 M&M 框架是否可应用于训练具有复杂内部状态表示（如循环网络或记忆增强网络）的代理？
• RQ5 与标准训练相比，动态策略混合如何影响学习稳定性与数据效率？

主要发现

• 在具有700多个动作的3D第一人称导航任务中，M&M 的训练速度更快，最终性能优于标准方法。
• 该方法成功训练了一个原本因动作空间过大而难以直接训练的复杂代理。
• M&M 通过架构变体的课程，显著提升了多任务设置下的学习效率与性能。
• 采用时间可变混合策略的蒸馏方法，实现了稳定的知识迁移，降低了训练不稳定性。
• 该框架在不同复杂度的代理类型中均表现出广泛适用性，涵盖动作空间大小与内部架构的变化。
• 实验结果表明，带有时间可变 α 的蒸馏损失能有效引导复杂代理向更简单前驱代理的行为靠拢。