[论文解读] Generalization of Reinforcement Learning with Policy-Aware Adversarial Data Augmentation

Hanping Zhang, Yuhong Guo|arXiv (Cornell University)|Jun 29, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用 6

一句话总结

该论文提出了一种新型方法——基于Mixup的策略感知对抗性数据增强（PAADA+Mixup），通过基于策略梯度生成对抗性轨迹，以提升强化学习的泛化能力。通过将这些对抗性生成的轨迹与原始数据结合使用Mixup方法，该方法在Procgen基准测试中实现了最先进性能，尤其在低训练多样性设置下表现突出。

ABSTRACT

The generalization gap in reinforcement learning (RL) has been a significant obstacle that prevents the RL agent from learning general skills and adapting to varying environments. Increasing the generalization capacity of the RL systems can significantly improve their performance on real-world working environments. In this work, we propose a novel policy-aware adversarial data augmentation method to augment the standard policy learning method with automatically generated trajectory data. Different from the commonly used observation transformation based data augmentations, our proposed method adversarially generates new trajectory data based on the policy gradient objective and aims to more effectively increase the RL agent's generalization ability with the policy-aware data augmentation. Moreover, we further deploy a mixup step to integrate the original and generated data to enhance the generalization capacity while mitigating the over-deviation of the adversarial data. We conduct experiments on a number of RL tasks to investigate the generalization performance of the proposed method by comparing it with the standard baselines and the state-of-the-art mixreg approach. The results show our method can generalize well with limited training diversity, and achieve the state-of-the-art generalization test performance.

研究动机与目标

• 解决深度强化学习在多样化现实环境中的持续泛化差距问题，该问题由过拟合和数据记忆化引起。
• 通过开发一种策略感知方法，克服传统观测级别数据增强的局限性，生成与强化学习策略目标对齐的对抗性轨迹。
• 通过将对抗性数据增强与Mixup结合，提升泛化能力，充分发挥两种技术的优势。
• 在低数据多样性训练设置下展示优越性能，特别是在具有挑战性的零样本泛化场景中。
• 通过引入专为策略优化目标量身定制的对抗性轨迹生成，建立强化学习中数据增强的新范式。

提出的方法

• 通过在初始源轨迹上使用基于梯度的扰动，最小化当前策略的期望回报，生成对抗性轨迹。
• 引入可控的增强程度（ν），以在训练过程中平衡原始轨迹与对抗性轨迹的贡献。
• 引入一种Mixup操作，通过以与ν成比例的概率随机组合原始和对抗性轨迹的每一步，实现观测步骤的混合。
• 使用原始轨迹与Mixup增强轨迹的组合来训练强化学习策略，以提升鲁棒性与泛化能力。
• 采用基于策略梯度的优化方法，确保生成的对抗性数据在语义上具有意义，并与策略的学习目标保持一致。
• 在Procgen基准上部署该方法，采用多种泛化设置（ξ = 1, 0.5, 0.25），评估在不同训练环境多样性下的性能表现。

实验结果

研究问题

• RQ1 基于策略梯度的对抗性轨迹生成能否提升深度强化学习智能体的泛化能力？
• RQ2 将对抗性数据增强与Mixup结合，是否能优于单独使用任一技术？
• RQ3 在低多样性训练设置下，该方法表现如何，特别是在仅提供25%训练环境的情况下？
• RQ4 策略感知的对抗性数据增强能否在多样化环境中实现零样本泛化，超越SOTA方法如mixreg？
• RQ5 增强程度（ν）对增强训练过程的性能与稳定性有何影响？

主要发现

• PAADA+Mixup在Procgen基准上实现了最先进水平的泛化性能，在15个测试用例中的12个中优于PPO和mixreg。
• 在最具挑战性的设置下（仅25%训练环境，ξ=0.25），PAADA+Mixup实现了0.26的平均归一化回报，显著优于mixreg（0.09）和PPO（0.03）。
• 在climber环境中，ξ=0.25时，PAADA（ν=0.5）实现了3.64±0.62的最高回报，优于PAADA+Mixup（2.08±0.46），表明在极端数据稀缺情况下，Mixup可能并非始终有益。
• 在dodgeball环境中，ξ=0.25时，PAADA+Mixup实现了2.38±0.46的回报，显著优于mixreg（2.10±0.30）和PPO（1.12±0.18），展现出在低数据多样性下的强大泛化能力。
• 该方法在Procgen的四个游戏（climber、dodgeball、fruitbot、starpilot）中均持续提升泛化性能，PAADA+Mixup在所有环境中的平均归一化回报最高，达到0.37±0.02。
• 消融实验确认，对抗性数据增强与Mixup对性能均有独立贡献，且二者结合可产生协同增益，显著提升泛化能力。