[论文解读] Reinforcement Learning with Deep Energy-Based Policies

Tuomas Haarnoja, Haoran Tang+2 more|arXiv (Cornell University)|Feb 27, 2017

Reinforcement Learning in Robotics参考文献 40被引用 434

一句话总结

引入带能量基策略的软Q-learning，用以在连续域中表示多模态随机动作，使用摊销的斯坦变分梯度下降从策略中采样，并将其与 actor-critic 方法相关联。

ABSTRACT

We propose a method for learning expressive energy-based policies for continuous states and actions, which has been feasible only in tabular domains before. We apply our method to learning maximum entropy policies, resulting into a new algorithm, called soft Q-learning, that expresses the optimal policy via a Boltzmann distribution. We use the recently proposed amortized Stein variational gradient descent to learn a stochastic sampling network that approximates samples from this distribution. The benefits of the proposed algorithm include improved exploration and compositionality that allows transferring skills between tasks, which we confirm in simulated experiments with swimming and walking robots. We also draw a connection to actor-critic methods, which can be viewed performing approximate inference on the corresponding energy-based model.

研究动机与目标

• 在连续状态和动作空间中激励学习表达性强的随机策略。
• 通过能量基模型将最大熵策略搜索扩展到任意策略分布。
• 开发一个实用、可扩展的算法（软Q-learning），结合适用于深度网络的近似采样。
• 展示在探索以及跨任务的技能组装性迁移方面的优势。

提出的方法

• 将策略表述为能量基模型，pi(a|s) ∝ exp(-E(s,a))。
• 使用软Q函数将能量基策略与熵正则化 RL 连接起来（定理1）。
• 推导软Bellman方程和软Q迭代，以实现固定点收敛（定理3）。
• 实现带深度网络的实用软Q-learning，并通过摊销SVGD（fφ）使用随机采样网络从策略中采样。
• 利用经验回放和目标网络，使用随机梯度方法优化Qθ。
• 将采样网络视为一个 actor，建立与 actor-critic 框架的联系。

实验结果

研究问题

• RQ1 能否用能量基策略在连续域中表示复杂的多模态动作分布？
• RQ2 对轨迹最大化熵是否有助于改善探索并实现对技能迁移的更好预训练？
• RQ3 在高维情况下如何高效地从能量基策略采样并将其与深度强化学习整合？
• RQ4 熵正则化RL、Q-learning与actor-critic方法之间的联系是什么？

主要发现

• 该方法学习与能量景观对齐的多模态随机策略，能够实现多样化行为（例如多个目标）。
• 与确定性方法如DDPG相比，软Q-learning在多模态奖励景观中改进了探索。
• 最大熵策略在对新技能的微调中比标准预训练提供更好的初始化。
• 摊销SVGD提供从能量基策略的快速、无偏样本，并揭示了该方法的 actor-critic 解释。
• 在模拟的游泳和四足行走任务中的实证结果显示了改进的探索和迁移潜力。