[论文解读] A Simple Randomization Technique for Generalization in Deep Reinforcement Learning

Kimin Lee, Kibok Lee+2 more|arXiv (Cornell University)|Oct 11, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出了一种简单的随机化技术，通过使用随机化的卷积神经网络对深度强化学习中的输入观测进行扰动，从而在多样化环境中显著提升泛化性能。通过在随机输入下学习鲁棒且不变的特征，并利用蒙特卡洛推理减少方差，该方法在2D CoinRun、3D DeepMind Lab以及机器人控制任务中显著优于正则化和数据增强基线方法。

ABSTRACT

Deep reinforcement learning (RL) agents often fail to generalize to unseen environments (yet semantically similar to trained agents), particularly when they are trained on high-dimensional state spaces, such as images. In this paper, we propose a simple technique to improve a generalization ability of deep RL agents by introducing a randomized (convolutional) neural network that randomly perturbs input observations. It enables trained agents to adapt to new domains by learning robust features invariant across varied and randomized environments. Furthermore, we consider an inference method based on the Monte Carlo approximation to reduce the variance induced by this randomization. We demonstrate the superiority of our method across 2D CoinRun, 3D DeepMind Lab exploration and 3D robotics control tasks: it significantly outperforms various regularization and data augmentation methods for the same purpose.

研究动机与目标

• 为解决深度强化学习智能体在测试未见过但语义相似环境时泛化能力差的挑战。
• 提升在高维观测空间（如图像）中的鲁棒性，因为标准RL智能体在这些场景下常会失效。
• 开发一种最小化、高效的技巧，以提升泛化能力，而无需复杂的网络结构改动或超参数调优。
• 利用蒙特卡洛近似减少推理过程中由输入随机化引入的方差。
• 在多样化环境中（包括2D和3D控制任务）展示一致的性能提升。

提出的方法

• 引入一种随机化的卷积神经网络层，在处理前对输入观测应用随机且固定的变换（例如，滤波器、噪声）。
• 在训练和推理过程中均应用该随机化，以促使智能体学习对输入扰动具有不变性的特征。
• 在推理阶段使用蒙特卡洛近似以稳定预测结果，并减少由随机随机化引起的方差。
• 使用标准强化学习算法端到端训练智能体，将随机化网络作为正则化器，促进鲁棒特征学习。
• 保持与基线方法相同的网络架构和训练流程，仅在其中添加随机化层。
• 在多样化环境中（包括基于图像的2D和3D环境）应用该方法，以评估泛化性能。

实验结果

研究问题

• RQ1 一个简单且随机化的卷积层是否能在多样化环境中显著提升深度强化学习智能体的泛化性能？
• RQ2 与标准正则化和数据增强方法相比，该随机化技术在泛化性能方面表现如何？
• RQ3 蒙特卡洛近似是否能有效减少由输入随机化导致的预测方差？
• RQ4 该方法是否能泛化至具有高维视觉观测的2D和3D环境？
• RQ5 该技术是否能在保持样本效率和训练稳定性的同时，对未见过的环境维持良好性能？

主要发现

• 所提出的方法在2D CoinRun环境中显著优于标准正则化和数据增强技术的泛化性能。
• 在3D DeepMind Lab探索任务中，该方法实现了更高的样本效率，并且在未见关卡上的泛化能力优于基线方法。
• 在3D机器人控制任务中，使用该随机化技术训练的智能体能更有效地泛化至新配置和新环境。
• 蒙特卡洛推理方法成功减少了随机化带来的方差，从而在测试期间实现了更稳定、更可靠的预测。
• 该技术在无需架构修改或额外超参数调优的情况下提升了鲁棒性，展现出广泛的适用性。
• 该方法在所有评估环境中均实现了最先进的泛化性能，包括具有高维视觉输入的环境。