[论文解读] Deep Reinforcement and InfoMax Learning

Bogdan Mazoure, Rémi Tachet des Combes+3 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics被引用 10

一句话总结

本文提出了一种时间深度互信息（tDIM）目标，通过最大化序列表示之间的互信息来训练强化学习智能体预测未来状态，从而提升其性能。当集成到C51算法中时，该方法在持续学习和ProcGen环境中的表现得到提升，表明对未来状态的预测性表征能够增强泛化能力和适应性。

ABSTRACT

We begin with the hypothesis that a model-free agent whose representations are predictive of properties of future states (beyond expected rewards) will be more capable of solving and adapting to new RL problems. To test that hypothesis, we introduce an objective based on Deep InfoMax (DIM) which trains the agent to predict the future by maximizing the mutual information between its internal representation of successive timesteps. We test our approach in several synthetic settings, where it successfully learns representations that are predictive of the future. Finally, we augment C51, a strong RL baseline, with our temporal DIM objective and demonstrate improved performance on a continual learning task and on the recently introduced Procgen environment.

研究动机与目标

• 探究通过表征学习训练智能体预测未来状态是否能提升其解决和适应新强化学习（RL）问题的能力。
• 通过在表征学习中引入未来状态预测能力，解决标准RL智能体仅关注预期奖励的局限性。
• 开发一种无需模型的强化学习目标，利用连续内部表征之间的互信息最大化来捕捉环境中的时间结构。
• 评估此类预测性表征是否能在复杂、动态环境中提升样本效率和泛化能力。

提出的方法

• 提出Deep InfoMax的时间变体（tDIM），通过最大化时间t时智能体内部表征与时间t+1未来状态表征之间的互信息。
• 定义一种对比性目标，促使智能体表征能够预测未来状态，同时使用动量编码器以稳定训练过程。
• 将tDIM目标作为正则化项集成到C51 DQN算法中，联合优化预期回报与未来预测目标。
• 通过结合标准强化学习损失与tDIM对比损失，端到端训练智能体，使策略学习到编码环境动态预测信息的表征。

实验结果

研究问题

• RQ1 学习能够预测未来状态的表征是否能超越基于奖励的标准学习，在强化学习中提升泛化能力？
• RQ2 在序列表征之间最大化互信息是否能提升样本效率和在持续学习任务中的性能？
• RQ3 tDIM目标在稀疏奖励和复杂环境（如ProcGen）中的表现如何？
• RQ4 预测性表征在多大程度上能提升智能体在无灾难性遗忘前提下适应新任务的能力？

主要发现

• tDIM目标成功训练智能体在合成环境中学习到能预测未来状态的表征，证实了未来预测可提升表征质量的假设。
• 当集成到C51中时，tDIM增强的智能体在ProcGen环境中的表现优于基线模型，表明其在多样化环境中的泛化能力得到提升。
• tDIM增强的智能体在持续学习基准测试中表现更优，表明其在连续任务中具有更好的记忆保持与适应能力。
• 该方法提升了样本效率并减少了灾难性遗忘，表明预测性表征有助于构建更稳健和泛化能力更强的策略。