[论文解读] Meta-Gradient Reinforcement Learning with an Objective Discovered Online

Zhongwen Xu, Hado van Hasselt+4 more|arXiv (Cornell University)|Jul 16, 2020

Reinforcement Learning in Robotics参考文献 39被引用 35

一句话总结

本文提出 FRODO，一种在线元梯度框架，能够发现并更新强化学习目标本身，从而实现跨任务的在线适应和提升学习效率，包括 Atari 游戏。

ABSTRACT

Deep reinforcement learning includes a broad family of algorithms that parameterise an internal representation, such as a value function or policy, by a deep neural network. Each algorithm optimises its parameters with respect to an objective, such as Q-learning or policy gradient, that defines its semantics. In this work, we propose an algorithm based on meta-gradient descent that discovers its own objective, flexibly parameterised by a deep neural network, solely from interactive experience with its environment. Over time, this allows the agent to learn how to learn increasingly effectively. Furthermore, because the objective is discovered online, it can adapt to changes over time. We demonstrate that the algorithm discovers how to address several important issues in RL, such as bootstrapping, non-stationarity, and off-policy learning. On the Atari Learning Environment, the meta-gradient algorithm adapts over time to learn with greater efficiency, eventually outperforming the median score of a strong actor-critic baseline.

研究动机与目标

• 用在线元梯度下降来促使学习一个 RL 目标，而不是手工设计它。
• 开发一个元网络，将 RL 更新目标参数化为可从经验学习的对象。
• 将 RL 更新目标 G 参数化为一个元网络 g_eta，该网络将轨迹映射到一个标量目标。
• 使在线自适应目标以处理 bootstrapping、非平稳性和 off-policy 学习。
• 证明在线目标发现在复杂环境上能够优于固定基线。

提出的方法

• 将 RL 更新目标 G 参数化为一个元网络 g_eta，将轨迹映射到一个标量目标。
• 应用元梯度下降通过对 M 个内更新进行反向传播来优化 eta。
• 在验证轨迹上使用外层损失 L_outer 来计算 eta 的元梯度。
• 将框架实例化为 FRODO (Flexible Reinforcement Objective Discovered Online) 并应用于预测、基于值的控制，以及 actor-critic 设置。
• 在大规模实验中，加入一致性损失以将 G_eta 正则化为时间自一致性，并为 off-policy 修正使用 VTrace。

实验结果

研究问题

• RQ1 在线元梯度方法是否能够在没有手工设计目标的情况下发现有用的 RL 更新目标？
• RQ2 在线目标发现如何解决 RL 中的 bootstrapping 与非平稳性？
• RQ3 在多样化任务上，更新目标的在线发现是否能超越强大的 actor-critic 基线？
• RQ4 在元梯度中，将目标表示为学习的目标与表示为学习的损失有何不同？

主要发现

• 在玩具域中，学习得到的目标能够实现 bootstrapping 和非平稳性处理，优于固定的 look-ahead 基线。
• 在57个 Atari 游戏上，元梯度算法在充分训练后优于强大 actor-critic 基线的中位分数。
• 学习得到的目标在不同游戏中与 VTrace 目标存在差异，表明发现了不同的在线目标。
• 将目标表示为目标（而非损失）比表示为损失在在线学习中更稳定。
• 适度的一致性损失（向自一致性正则化）显著加速学习并提升性能，而过强的正则化会损害结果。