[论文解读] A Comprehensive Survey of Data Augmentation in Visual Reinforcement Learning

Guozheng Ma, Zhen Wang+4 more|arXiv (Cornell University)|Oct 10, 2022

Tactile and Sensory InteractionsNeuroscience被引用 17

一句话总结

本综述提出了一种视觉强化学习（RL）中数据增强（DA）的统一框架，系统性地对增强技术及其与RL的集成方式进行分类。结果表明，DA在DMControl和Procgen等基准测试中显著提升了样本效率和零样本泛化能力，实证验证显示，当与对比学习和辅助任务结合时，性能提升具有一致性。

ABSTRACT

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

研究动机与目标

• 为解决视觉RL中样本效率低下和泛化差距大的问题，系统性地回顾数据增强（DA）技术。
• 提出统一的高维上下文马尔可夫决策过程（HCMDP）框架，以形式化视觉RL并分析DA的作用。
• 建立视觉RL中DA方法的系统性分类法，区分观察级、转移级、轨迹级和自动增强。
• 研究如何通过隐式/显式正则化和表示学习有效利用增强数据。
• 识别开放挑战与未来方向，包括语义级增强和DA在RL中的理论基础。

提出的方法

• 提出高维上下文马尔可夫决策过程（HCMDP）作为形式化框架，用于建模视觉RL并分析样本效率与泛化能力。
• 将DA技术分类为观察级（几何、光学、噪声、图像混合、随机擦除）和深度神经网络（DNN）级（特征空间、对抗性、基于GAN）变换。
• 引入转移级与轨迹级增强，以在增强数据中保持时间与环境结构。
• 提出使用搜索或可学习策略的自动增强策略，以优化增强策略。
• 提出上下文感知增强，根据环境特定先验（如背景变化或物体属性）自适应调整。
• 采用多种学习范式来利用增强数据：隐式正则化、显式辅助任务（一致性、对比学习、未来预测）以及与任务无关的表示学习。

实验结果

研究问题

• RQ1 如何在视觉RL范式中系统性地对数据增强进行分类与统一？
• RQ2 数据增强通过何种关键机制提升视觉RL中的样本效率与泛化能力？
• RQ3 在标准视觉RL基准测试中，不同增强策略（如几何增强与基于GAN的增强）的性能如何比较？
• RQ4 对比学习与未来预测等辅助任务在利用增强数据中起什么作用？
• RQ5 数据增强在视觉RL中的理论与实践局限性是什么，如何加以解决？

主要发现

• 在DMControl-100k和DMControl-500k上，数据增强显著提升了样本效率，且在多种算法中均表现出一致的性能增益。
• 在Procgen上，基于DA的方法在零样本泛化方面表现强劲，尤其在层级泛化场景下，得益于对环境先验的有效捕捉。
• 结合DA的对比学习可生成更鲁棒且解耦的表示，通过减少对虚假特征的依赖，从而提升性能。
• 在已知领域偏移的环境中（如DMControl-GB中的背景变化），自动增强与上下文感知增强优于人工设计的策略。
• 尽管实证效果显著，DA有时会增加估计的不确定性，凸显了在RL设置中建立更坚实理论基础的必要性。
• 将DA与预训练及辅助任务结合可持续提升性能，表明表示学习与策略优化之间存在协同增益。