[论文解读] Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks

Sina Ghiassian, Banafsheh Rafiee+2 more|arXiv (Cornell University)|Mar 16, 2020

Reinforcement Learning in Robotics参考文献 38被引用 8

一句话总结

本文提出一种简单的输入预处理技术——通过离散化或瓦片编码将观测值映射到高维空间，以减少深度强化学习中的有害泛化。通过打破神经网络在相似状态间过度泛化的倾向，该方法在Mountain Car和Acrobot等经典控制环境任务中显著提升了学习速度、稳定性和性能，计算开销极低且无需修改网络结构。

ABSTRACT

Reinforcement learning systems require good representations to work well. For decades practical success in reinforcement learning was limited to small domains. Deep reinforcement learning systems, on the other hand, are scalable, not dependent on domain specific prior knowledge and have been successfully used to play Atari, in 3D navigation from pixels, and to control high degree of freedom robots. Unfortunately, the performance of deep reinforcement learning systems is sensitive to hyper-parameter settings and architecture choices. Even well tuned systems exhibit significant instability both within a trial and across experiment replications. In practice, significant expertise and trial and error are usually required to achieve good performance. One potential source of the problem is known as catastrophic interference: when later training decreases performance by overriding previous learning. Interestingly, the powerful generalization that makes Neural Networks (NN) so effective in batch supervised learning might explain the challenges when applying them in reinforcement learning tasks. In this paper, we explore how online NN training and interference interact in reinforcement learning. We find that simply re-mapping the input observations to a high-dimensional space improves learning speed and parameter sensitivity. We also show this preprocessing reduces interference in prediction tasks. More practically, we provide a simple approach to NN training that is easy to implement, and requires little additional computation. We demonstrate that our approach improves performance in both prediction and control with an extensive batch of experiments in classic control domains.

研究动机与目标

• 解决深度强化学习系统中存在训练不稳定及对超参数敏感的问题。
• 探究神经网络中的有害泛化如何加剧在线训练过程中强化学习的干扰问题。
• 通过修改输入表示以限制语义上不同的状态之间的过度泛化，从而减轻灾难性干扰。
• 开发一种简单、低开销的预处理方法，提升深度强化学习中的样本效率与训练稳定性。
• 证明在输入空间打破泛化关系可获得优于标准深度强化学习训练的性能，且仅需极少的网络结构改动。

提出的方法

• 该方法使用离散化（每维独立的一位编码）或瓦片编码（输入空间的重叠分块）将连续状态观测值映射为高维二值表示。
• 每个输入维度独立划分为若干区间（例如20或32个区间），并将对应的区间索引编码为一位向量后拼接。
• 对于瓦片编码，对每个维度应用多个分块，将激活的瓦片组合成一个二值向量以表示输入状态。
• 将高维输入表示输入标准前馈神经网络，激活函数为ReLU，输出层为线性输出，使用带有经验回放和目标网络的标准DQN风格算法进行训练。
• 该方法在预测与控制任务中统一应用，除输入预处理外，网络结构与训练算法均未作任何修改。
• 在多种超参数设置下评估该方法，并与使用原始观测值的标准深度强化学习训练进行对比。

实验结果

研究问题

• RQ1 减少神经网络输入中的有害泛化是否能提升深度强化学习中的学习稳定性与性能？
• RQ2 通过离散化或瓦片编码进行输入预处理，在强化学习在线训练过程中在多大程度上减少了干扰？
• RQ3 与标准深度强化学习训练相比，该方法在样本效率与超参数敏感性方面表现如何？
• RQ4 一种简单且计算成本低的预处理技术是否能在经典控制领域中超越标准深度强化学习？
• RQ5 在输入空间打破泛化关系是否能缓解深度强化学习智能体中的灾难性干扰？

主要发现

• 所提出的预处理方法在Mountain Car与Acrobot环境中的预测与控制任务中，显著提升了学习速度与最终性能。
• 该方法降低了参数敏感性并稳定了训练过程，使不同超参数设置下的性能更加一致。
• 瓦片编码与基于离散化的预处理方法在性能上均优于使用原始观测值的标准深度强化学习训练，即使在最优超参数调优下亦然。
• 该改进在多个随机种子下均保持一致，表明其方差更小、训练更稳定。
• 尽管计算开销极低且无需修改网络结构或训练算法，该方法仍达到了与当前最先进深度强化学习智能体相当的性能。
• 结果表明，输入空间中的有害泛化是导致深度强化学习不稳定的重要原因，而通过预处理打破泛化关系可带来显著性能提升。