[论文解读] Automatic Data Augmentation for Generalization in Reinforcement Learning

Roberta Răileanu, Maxwell Goldstein+3 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics参考文献 41被引用 30

一句话总结

本文提出了一种用于深度强化学习的自动数据增强方法，可提升在多样化环境中的泛化能力。通过将可学习的增强策略与针对策略函数和价值函数的新型正则化项相结合，该方法在Procgen基准测试中实现了40%的相对性能提升，并创下新的最先进水平，同时学习到对无关环境变化具有不变性的鲁棒策略。

ABSTRACT

Deep reinforcement learning (RL) agents often fail to generalize beyond their training environments. To alleviate this problem, recent work has proposed the use of data augmentation. However, different tasks tend to benefit from different types of augmentations and selecting the right one typically requires expert knowledge. In this paper, we introduce three approaches for automatically finding an effective augmentation for any RL task. These are combined with two novel regularization terms for the policy and value function, required to make the use of data augmentation theoretically sound for actor-critic algorithms. We evaluate our method on the Procgen benchmark which consists of 16 procedurally generated environments and show that it improves test performance by 40% relative to standard RL algorithms. Our approach also outperforms methods specifically designed to improve generalization in RL, thus setting a new state-of-the-art on Procgen. In addition, our agent learns policies and representations which are more robust to changes in the environment that are irrelevant for solving the task, such as the background.

研究动机与目标

• 解决深度强化学习智能体在不同环境间泛化能力差的问题。
• 通过自动发现适用于任何强化学习任务的有效增强方法，消除对人工设计数据增强的依赖。
• 开发与演员-评论家算法兼容的理论严谨正则化技术，以应对数据增强。
• 提升策略对无关环境变化（如背景变化）的鲁棒性。
• 在强化学习的泛化任务中，于Procgen基准测试上创下新的最先进水平。

提出的方法

• 提出一种可学习的增强策略，可自动发现适用于任何强化学习任务的有效数据增强方法。
• 提出两种新型正则化项——分别针对策略网络和价值函数——以确保在演员-评论家框架中使用增强数据时具备理论一致性。
• 采用元学习方法，基于在多个环境中的性能表现来优化增强策略。
• 使用可微分的增强搜索空间，以支持增强超参数的基于梯度的优化。
• 在训练过程中应用所学习的增强方法，以提升泛化能力，且无需针对特定任务进行调优。
• 在包含16个程序化生成、动态多样的环境的Procgen基准测试上验证了该方法。

实验结果

研究问题

• RQ1 自动数据增强是否能在无需专家设计增强方法的情况下，提升深度强化学习的泛化能力？
• RQ2 如何以理论合理的方式将数据增强集成到演员-评论家算法中？
• RQ3 自动增强是否能生成对无关环境变化（如背景变化）具有鲁棒性的策略？
• RQ4 该方法是否能超越为泛化而专门设计的现有最先进方法？
• RQ5 所提出的正则化项对增强强化学习训练的稳定性和性能有何影响？

主要发现

• 所提出的方法在Procgen基准测试中，相较于标准深度强化学习算法，测试性能相对提升了40%。
• 该方法在Procgen基准测试中创下新的最先进水平，优于现有专为泛化设计的方法。
• 所学习的策略对无关环境变化（如背景变化）更具鲁棒性，表明其具备更强的不变性学习能力。
• 两种新型正则化项的整合确保了在演员-评论家算法中使用数据增强时，训练过程稳定且理论合理。
• 自动增强策略在无需人工干预的情况下，成功在多样化环境中发现有效增强方法。