[论文解读] Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning

Guozheng Ma, Linrui Zhang+7 more|arXiv (Cornell University)|May 25, 2023

Advanced Fluorescence Microscopy Techniques被引用 10

一句话总结

这篇论文分析用于视觉强化学习的数据增强属性，并引入 Rand PR 和 CycAug，在不改变 RL 算法的情况下，在 DM Control 和 CARLA 上实现了更高的采样效率。

ABSTRACT

Data augmentation (DA) is a crucial technique for enhancing the sample efficiency of visual reinforcement learning (RL) algorithms. Notably, employing simple observation transformations alone can yield outstanding performance without extra auxiliary representation tasks or pre-trained encoders. However, it remains unclear which attributes of DA account for its effectiveness in achieving sample-efficient visual RL. To investigate this issue and further explore the potential of DA, this work conducts comprehensive experiments to assess the impact of DA's attributes on its efficacy and provides the following insights and improvements: (1) For individual DA operations, we reveal that both ample spatial diversity and slight hardness are indispensable. Building on this finding, we introduce Random PadResize (Rand PR), a new DA operation that offers abundant spatial diversity with minimal hardness. (2) For multi-type DA fusion schemes, the increased DA hardness and unstable data distribution result in the current fusion schemes being unable to achieve higher sample efficiency than their corresponding individual operations. Taking the non-stationary nature of RL into account, we propose a RL-tailored multi-type DA fusion scheme called Cycling Augmentation (CycAug), which performs periodic cycles of different DA operations to increase type diversity while maintaining data distribution consistency. Extensive evaluations on the DeepMind Control suite and CARLA driving simulator demonstrate that our methods achieve superior sample efficiency compared with the prior state-of-the-art methods.

研究动机与目标

• 研究哪些数据增强属性（难度和多样性）驱动视觉 RL 的样本效率。
• 识别现有在 RL 情景下的多类型增强融合方案的局限性。
• 提出在信息保留与空间多样性之间取得平衡的增强设计。
• 开发对 RL 友好的融合策略，保持训练过程中的数据分布稳定性。

提出的方法

• 通过受控消融分析视觉 RL 中数据增强的难度和多样性。
• 提出 Random PadResize（Rand PR），在保持增强难度较低的同时最大化空间多样性。
• 开发 Cycling Augmentation（CycAug），一种面向 RL 的多类型数据增强融合，通过在不同增强之间循环来维持数据分布的稳定性。
• 将 Rand PR 集成到基于 DrQ-V2 的流程中，并在 DM Control 和 CARLA 上进行评估。

实验结果

研究问题

• RQ1 在视觉 RL 中，哪些数据增强属性（难度、强度多样性、空间多样性、类型多样性）对样本效率影响最大？
• RQ2 RL 专用的融合策略能否超过通用的多类型数据增强融合方案？
• RQ3 在 DM Control 和 CARLA 这样的领域中，Rand PR 和 Cycling Augmentation 是否能带来显著的样本效率提升？
• RQ4 在使用多类型数据增强时，控制数据分布稳定性如何影响训练性能？
• RQ5 数据增强设计对具有挑战性的 RL 任务中的训练稳定性和最终表现有何影响？

主要发现

• 较低的增强难度和较高的空间多样性对视觉 RL 的有效数据增强至关重要。
• 无限的强度多样性可能由于增加难度而损害性能。
• 直接将来自计算机视觉的多类型数据增强融合方案应用于 RL 可能降低样本效率。
• Rand PR 提供多样且低难度的增强；CycAug 轮流应用多种增强可提升稳定性和样本效率。
• CycAug 与 Rand PR 在 DM Control 任务上实现了最先进的效率，并在 CARLA 上优于以往的 SOTA，尤其是在数据匮乏的情形。