[论文解读] Deep RL With Information Constrained Policies: Generalization in Continuous Control

Tyler Malloy, Chris R. Sims+4 more|arXiv (Cornell University)|Oct 9, 2020

Reinforcement Learning in Robotics参考文献 14被引用 5

一句话总结

本文提出容量受限的演员-评论家（CLAC）算法，一种通过互信息正则化施加信息论约束以控制策略复杂度的深度强化学习算法，从而在连续控制任务中提升泛化性能。通过将策略学习形式化为率失真问题，CLAC在分布外泛化方面优于SAC和MIRL，同时保持了高样本效率。

ABSTRACT

Biological agents learn and act intelligently in spite of a highly limited capacity to process and store information. Many real-world problems involve continuous control, which represents a difficult task for artificial intelligence agents. In this paper we explore the potential learning advantages a natural constraint on information flow might confer onto artificial agents in continuous control tasks. We focus on the model-free reinforcement learning (RL) setting and formalize our approach in terms of an information-theoretic constraint on the complexity of learned policies. We show that our approach emerges in a principled fashion from the application of rate-distortion theory. We implement a novel Capacity-Limited Actor-Critic (CLAC) algorithm and situate it within a broader family of RL algorithms such as the Soft Actor Critic (SAC) and Mutual Information Reinforcement Learning (MIRL) algorithm. Our experiments using continuous control tasks show that compared to alternative approaches, CLAC offers improvements in generalization between training and modified test environments. This is achieved in the CLAC model while displaying the high sample efficiency of similar methods.

研究动机与目标

• 通过建模具有有限信息处理能力的智能体，提升深度强化学习在连续控制任务中的泛化性能。
• 将策略学习形式化为率失真优化问题，将其与生物认知和信息论相联系。
• 开发一种新颖的算法CLAC，通过互信息正则化在性能与泛化之间实现平衡。
• 证明容量受限策略在泛化性能上优于标准的熵正则化或互信息正则化方法。
• 实现互信息系数的自动调整，以维持对奖励尺度的鲁棒性并改善负迁移的缓解。

提出的方法

• 将强化学习目标形式化为率失真问题，其中策略的互信息被约束在最大容量C以内。
• 推导出在策略通道π(a|s)的互信息约束下最大化期望回报的学习目标。
• 提出CLAC算法，一种具有惩罚项−β·I(π(a|s))的深度离策略演员-评论家方法，用于正则化策略复杂度。
• 采用受SAC中α调整启发的自动β系数更新规则，实现在训练过程中对信息容量的动态控制。
• 使用变分近似方法，通过评论家网络估计状态与动作之间的互信息。
• 将该方法应用于连续控制环境，包括N-chain和MuJoCo基准测试，在扰动测试条件下评估泛化性能。

实验结果

研究问题

• RQ1 通过互信息约束策略复杂度是否能提升连续控制强化学习中的泛化性能？
• RQ2 信息约束策略学习与熵正则化（SAC）和互信息正则化（MIRL）方法相比，在分布外泛化方面表现如何？
• RQ3 互信息系数的自动调整是否能提升跨环境的鲁棒性与性能稳定性？
• RQ4 基于率失真思想的目标是否能带来优于标准深度强化学习基线方法的样本效率与泛化性能？
• RQ5 信息容量限制在多大程度上减少了迁移学习场景中的负迁移？

主要发现

• 在扰动的连续控制环境中，CLAC在泛化性能上优于SAC和MIRL，尤其在分布外设置下表现更优。
• 自动β调整机制稳定了训练过程，并提升了对奖励尺度变化的鲁棒性，与SAC的α自适应机制类似。
• CLAC在保持强大泛化性能的同时，样本效率高于基线方法。
• 信息论约束有效限制了策略复杂度，减少了对特定状态-动作模式的过拟合。
• 与标准迁移学习相比，CLAC在负迁移方面表现更优，因为更紧的容量约束可防止不良策略的重复使用。
• 实证结果表明，当环境参数改变时，CLAC在泛化性能上优于基于MERL的方法，证实了容量受限学习的优势。