[论文解读] Learning Synthetic Environments for Reinforcement Learning with Evolution Strategies

Fábio Furlan Ferreira, Thomas Nierhoff+1 more|arXiv (Cornell University)|Jan 24, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出一种方法，通过使用自然进化策略（NES）的双层优化，将合成环境（SEs）作为强化学习的代理环境进行学习。通过在SE上训练智能体，并基于真实环境中的表现对SE参数进行元更新，该方法将训练步数减少了高达60%，同时在不同超参数下保持鲁棒性，并可迁移至多种智能体（如Dueling DDQN和TD3）。

ABSTRACT

This work explores learning agent-agnostic synthetic environments (SEs) for Reinforcement Learning. SEs act as a proxy for target environments and allow agents to be trained more efficiently than when directly trained on the target environment. We formulate this as a bi-level optimization problem and represent an SE as a neural network. By using Natural Evolution Strategies and a population of SE parameter vectors, we train agents in the inner loop on evolving SEs while in the outer loop we use the performance on the target task as a score for meta-updating the SE population. We show empirically that our method is capable of learning SEs for two discrete-action-space tasks (CartPole-v0 and Acrobot-v1) that allow us to train agents more robustly and with up to 60% fewer steps. Not only do we show in experiments with 4000 evaluations that the SEs are robust against hyperparameter changes such as the learning rate, batch sizes and network sizes, we also show that SEs trained with DDQN agents transfer in limited ways to a discrete-action-space version of TD3 and very well to Dueling DDQN.

研究动机与目标

• 开发一种用于学习与智能体无关的合成环境（SEs）的方法，使其作为真实强化学习（RL）环境的高效代理。
• 通过使用SE来加速策略学习，解决在复杂或稀疏奖励环境中强化学习训练效率低下的问题。
• 通过SE实现在不同超参数（如初始学习率、批量大小、网络规模）下的鲁棒且可泛化的训练。
• 研究SE在不同强化学习算法（包括SE训练期间未使用的算法）上的可迁移性。
• 通过分析状态和奖励分布，揭示智能体从SE中学到的内容。

提出的方法

• 将SE学习问题建模为双层优化：内层循环在合成环境中训练智能体，外层循环使用真实环境中的表现来更新SE参数。
• 将SE表示为由ψ参数化的神经网络，基于当前状态s和动作a生成状态转移和奖励。
• 使用包含SE参数向量种群的自然进化策略（NES）执行元更新，避免显式计算二阶梯度。
• 采用基于种群的ES更新规则，估计外层目标（真实环境表现）相对于SE参数的梯度。
• 在内层循环中使用标准强化学习算法（如DDQN、Dueling DDQN、TD3）训练智能体，实现与智能体无关的SE训练。
• 通过在不同超参数和智能体架构下测量在真实环境中的训练效率和性能，评估SE的有效性。

实验结果

研究问题

• RQ1 能否通过使用进化策略的双层优化有效学习合成环境，以提升强化学习训练效率？
• RQ2 所学习的合成环境对智能体超参数（如学习率、批量大小、网络宽度）变化的鲁棒性如何？
• RQ3 在未用于SE训练的新强化学习算法上，从SE中训练的智能体性能可迁移的程度有多大？
• RQ4 所学习SE的状态和奖励分布具有何种特征？与真实环境相比有何差异？
• RQ5 智能体从SE中学到了有意义的表征，还是性能仅源于分布偏移或过拟合？

主要发现

• 与直接在真实环境中训练相比，该方法将解决CartPole-v0和Acrobot-v1环境所需的训练步数减少了高达60%。
• 使用DDQN智能体训练的SE在迁移至Dueling DDQN时泛化良好，实现了强劲的性能迁移；对TD3的离散动作变体也表现出有限但可测量的迁移能力。
• 在4000次评估中，所学习的SE对学习率、批量大小和神经网络宽度等超参数变化均表现出鲁棒性。
• SE中的状态和奖励分布与真实环境相比存在分布偏移，SE产生更窄、更集中的状态分布和更密集的奖励信号。
• 可视化分析表明，SE的响应比智能体行为更接近真实环境动力学，表明SE本身是导致分布偏移的原因。
• 定性分析表明，SE通过强调高信号状态，起到“引导系统”的作用，帮助智能体更高效地学习。