[论文解读] Learning Sparse Representations Incrementally in Deep Reinforcement Learning

J. Fernando Hernandez-Garcia, Richard S. Sutton|arXiv (Cornell University)|Dec 9, 2019

Reinforcement Learning in Robotics参考文献 18被引用 8

一句话总结

本论文表明，通过增量正则化，深度Q网络（DQN）能够同时学习稀疏表征和动作价值函数，从而提升累积奖励并增强对经验回放缓冲区大小的鲁棒性。关键贡献在于证明了稀疏性可缓解灾难性干扰，但仅在神经元死亡最少时才有效。

ABSTRACT

Sparse representations have been shown to be useful in deep reinforcement learning for mitigating catastrophic interference and improving the performance of agents in terms of cumulative reward. Previous results were based on a two step process were the representation was learned offline and the action-value function was learned online afterwards. In this paper, we investigate if it is possible to learn a sparse representation and the action-value function simultaneously and incrementally. We investigate this question by employing several regularization techniques and observing how they affect sparsity of the representation learned by a DQN agent in two different benchmark domains. Our results show that with appropriate regularization it is possible to increase the sparsity of the representations learned by DQN agents. Moreover, we found that learning sparse representations also resulted in improved performance in terms of cumulative reward. Finally, we found that the performance of the agents that learned a sparse representation was more robust to the size of the experience replay buffer. This last finding supports the long standing hypothesis that the overlap in representations learned by deep neural networks is the leading cause of catastrophic interference.

研究动机与目标

• 研究在深度强化学习中，是否可以在线性训练过程中增量学习稀疏表征，同时训练动作价值函数。
• 通过利用稀疏表征作为缓解策略，解决深度神经网络中的灾难性干扰问题。
• 评估不同正则化技术对稀疏性、性能以及对经验回放缓冲区大小鲁棒性的影响。
• 探索稀疏性与神经元存活之间的权衡，以识别最优的表征学习策略。
• 提供实证证据，表明稀疏表征可提升高维强化学习环境中的泛化能力并减少干扰。

提出的方法

• 在DQN智能体的隐藏层激活上应用L1和L2正则化，以在在线训练过程中鼓励稀疏性。
• 使用权重衰减（L2）和激活正则化（L1）来控制隐藏单元激活的大小与稀疏性。
• 实现目标网络和经验回放以稳定训练，确保正则化效果不受训练不稳定的干扰。
• 使用不同缓冲区大小的经验回放，对智能体进行增量训练，以评估其对干扰的鲁棒性。
• 通过测量隐藏单元之间的归一化激活重叠来量化稀疏性和干扰水平。
• 针对每种正则化方法，在多个缓冲区大小下优化超参数，并报告500次运行的平均性能及95%置信区间。

实验结果

研究问题

• RQ1 在实时训练动作价值函数的同时，DQN智能体是否能够增量学习稀疏表征？
• RQ2 学习稀疏表征是否能提升深度强化学习中的累积奖励性能？
• RQ3 具有稀疏表征的DQN智能体在经验回放缓冲区大小变化时，性能是否更具鲁棒性？
• RQ4 在整体智能体性能方面，稀疏性与神经元存活之间的权衡是什么？
• RQ5 激活重叠减少（表明稀疏性）是否与DQN智能体中灾难性干扰的减少相关？

主要发现

• 在适当的正则化下，DQN智能体能够在线性训练过程中增量学习稀疏表征，同时提升累积奖励性能。
• 在Mountain Car环境中，对激活应用L2正则化（L2_A）实现了最高稀疏性并取得最佳性能；而对权重应用L1正则化（L1_W）虽表征略显密集，但性能依然出色。
• 学习稀疏表征的智能体对经验回放缓冲区大小的变化更具鲁棒性，尤其在Mountain Car环境中，L1_W和L2_A在不同缓冲区大小下均表现出稳定性能。
• 由于过度正则化导致的神经元过度死亡（如L1_A）反而造成性能下降，表明稀疏性本身不足以保证性能提升——神经元存活至关重要。
• 结果支持了以下假设：深度神经网络中表征的重叠是灾难性干扰的主要原因，而稀疏表征通过减少特征重叠来缓解此问题。
• 表现最佳的方法在稀疏性与神经元保留之间实现了良好平衡，表明未来工作应聚焦于在不过度杀死神经元的前提下学习稀疏表征。