[论文解读] Improving Generalization in Meta Reinforcement Learning using Neural Objectives

Louis Kirsch, Sjoerd van Steenkiste+1 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 41被引用 14

一句话总结

MetaGenRL 是一种元强化学习算法，通过将多样化智能体的经验提炼为低复杂度的神经目标函数，实现对未见过环境的强泛化能力。它利用离策略的二阶梯度，实现高样本效率，并在新环境中优于标准元强化学习方法及部分人工设计的强化学习算法。

ABSTRACT

Biological evolution has distilled the experiences of many learners into the general learning algorithms of humans. Our novel meta-reinforcement learning algorithm MetaGenRL is inspired by this process. MetaGenRL distills the experiences of many complex agents to meta-learn a low-complexity neural objective function that affects how future individuals will learn. Unlike recent meta-RL algorithms, MetaGenRL can generalize to new environments that are entirely different from those used for meta-training. In some cases, it even outperforms human-engineered RL algorithms. MetaGenRL uses off-policy second-order gradients during meta-training that greatly increase its sample efficiency.

研究动机与目标

• 开发一种元强化学习算法，使其在元训练期间未见过的环境中也能有效泛化。
• 通过将多个智能体的经验提炼为共享的、低复杂度的神经目标函数，模拟生物进化过程。
• 通过离策略二阶梯度更新提升元训练中的样本效率。
• 通过学习一个可泛化的目标函数，使未来智能体能够更有效地学习。

提出的方法

• MetaGenRL 在元训练期间通过蒸馏多个复杂智能体的经验来训练神经目标函数。
• 该算法利用离策略数据计算二阶梯度，提升元优化过程中的样本效率。
• 所学习的神经目标函数指导未来智能体的学习过程，塑造其策略更新。
• 通过元梯度下降优化目标函数，使其能在多种环境中实现泛化。
• 该方法可实现向结构和动力学特性与元训练环境不同的环境中的迁移。

实验结果

研究问题

• RQ1 元强化学习算法能否泛化到元训练期间完全未见过的环境中？
• RQ2 从多样化智能体中学习到的神经目标函数能否提升强化学习中的泛化能力？
• RQ3 在元训练中使用二阶离策略梯度是否能提升样本效率和性能？
• RQ4 蒸馏得到的神经目标函数能否在新环境中优于人工设计的奖励函数？

主要发现

• MetaGenRL 能够泛化到元训练期间完全未见过的新环境中。
• 该算法在元训练期间未见过的新环境中，优于部分人工设计的强化学习算法。
• 使用离策略二阶梯度显著提升了元训练过程中的样本效率。
• 蒸馏得到的神经目标函数能够实现跨多样化环境的有效知识迁移。