[论文解读] Domain Adversarial Reinforcement Learning

Bonnie Li, Vincent François-Lavet+2 more|arXiv (Cornell University)|Feb 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用 6

一句话总结

本文提出领域对抗强化学习（DARL），一种通过与领域判别器进行对抗训练，使智能体学习领域不变表征的强化学习方法，从而提升深度强化学习中的零样本泛化能力。该方法显著降低了在未见视觉领域上的性能下降——例如，在最远的测试环境中性能仅下降23.5%，而SAC则下降74.1%，通过在不同领域间对齐特征分布，同时保留与任务相关的信息。

ABSTRACT

We consider the problem of generalization in reinforcement learning where visual aspects of the observations might differ, e.g. when there are different backgrounds or change in contrast, brightness, etc. We assume that our agent has access to only a few of the MDPs from the MDP distribution during training. The performance of the agent is then reported on new unknown test domains drawn from the distribution (e.g. unseen backgrounds). For this "zero-shot RL" task, we enforce invariance of the learned representations to visual domains via a domain adversarial optimization process. We empirically show that this approach allows achieving a significant generalization improvement to new unseen domains.

研究动机与目标

• 在视觉观测在不同环境中发生变化（如背景、对比度或亮度变化）时，提升深度强化学习中的零样本泛化能力。
• 解决标准强化学习智能体在训练过程中对特定视觉领域过拟合而导致的脆弱性问题。
• 学习对领域变化具有不变性的表征，同时保留与任务相关的动态信息，以实现有效的策略学习。
• 在训练过程中无需访问测试领域数据，实现对新未见视觉领域的稳健迁移。

提出的方法

• 以对抗方式训练表征编码器和领域判别器，其中编码器旨在通过生成领域不变特征来欺骗判别器。
• 使用标准强化学习算法（如SAC）在具有不同视觉背景的少量训练领域上训练智能体。
• 通过最小化领域判别器对特征来源领域分类的能力，优化编码器的领域对抗损失。
• 将领域判别器集成到训练循环中，通过梯度更新联合优化策略和表征编码器。
• 使用t-SNE和L2距离测量训练领域与测试领域在视觉空间和特征空间中的差异性。
• 在静态和非静态测试领域上评估泛化性能，包括自然视频背景和动态干扰物。

实验结果

研究问题

• RQ1 在表征空间中进行对抗性领域对齐，是否能提升视觉领域变化下的深度强化学习中的零样本泛化能力？
• RQ2 领域对抗智能体在未见视觉领域上的性能与标准强化学习智能体相比如何？
• RQ3 当在新型视觉领域上测试时，DARL中学习到的表征在特征空间中与训练分布的接近程度如何？
• RQ4 表征中的领域不变性是否能带来在多样化视觉背景上更稳定和鲁棒的策略性能？

主要发现

• 在最不相似的测试环境（潜在空间中最远）中，DARL的性能仅下降23.5%，而SAC下降74.1%，表明其具有更优的鲁棒性。
• 通过测量均值特征之间的L2距离，DARL的特征分布与所有测试环境中的训练分布保持接近，而SAC的特征则显著偏离。
• DARL的性能与潜在空间中的L2距离强相关——与训练分布距离越近，泛化性能越好。
• 在具有自然视频背景的非静态环境中，DARL表现出更稳定和一致的性能，而SAC在不同环境间波动极大。
• t-SNE可视化证实，DARL的表征更紧凑且具有领域不变性，而SAC的表征对视觉领域变化高度敏感。
• 领域判别器成功降低了对特征来源领域的分类能力，证实了表征空间中有效的领域不变性。