[论文解读] Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor

Tuomas Haarnoja, Aurick Zhou+2 more|arXiv (Cornell University)|Jan 4, 2018

Reinforcement Learning in Robotics参考文献 34被引用 3,481

一句话总结

Soft Actor-Critic (SAC) 是一种离策略、最大熵的策略-值方法，具有随机策略，在连续控制任务上实现了最先进的性能与稳定性，相较于以往方法提高了样本效率。

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an off-policy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

研究动机与目标

• 推动并解决无模型深度强化学习的高样本复杂性与超参数敏感性问题。
• 开发一种带随机策略的离策略最大熵策略-值算法。
• 在具有挑战性的连续控制基准上展示稳定性与强性能。
• 为软策略迭代提供理论收敛性结果以及对实际 SAC 实例的实现。
• 将 SAC 与最先进的离策略与在策略基线进行比较，并分析关键超参数。

提出的方法

• 提出包含温度参数的熵项在内的最大熵强化学习目标。
• 推导软策略迭代并证明在策略类内收敛到最优的最大熵策略。
• 引入带参数化网络的 SAC，用 V、Q、策略，并使用两个 Q 函数以降低正偏差。
• 通过回放缓冲区进行基于离策略的随机梯度更新来优化 V、Q 和策略。
• 使用重参数化技巧获得低方差的策略梯度。
• 在连续控制基准上评估 SAC，并与 DDPG、PPO 和 SQL 进行比较。

实验结果

研究问题

• RQ1 离策略的最大熵框架是否能够在连续控制任务中实现稳定且样本高效的学习？
• RQ2 引入随机策略和熵最大化是否能相比于之前的离策略方法改善探索性与鲁棒性？
• RQ3 在具有挑战性的任务（如 Humanoid）中，SAC 相对于 DDPG、PPO 及其他基线的表现如何？
• RQ4 哪些关键因素（奖励缩放、目标更新平滑度）会影响 SAC 的性能与稳定性？

主要发现

• SAC 在具有挑战性的连续控制任务中，相较于离策略和在策略基线，展现出更优的性能与样本效率。
• 使用两个 Q 函数可缓解正偏差并提高训练速度，尤其是在更难的任务上。
• 带熵最大化的随机策略比确定性变体具有更稳定的训练和更好的种子对种子的一致性。
• 奖励缩放充当熵项的温度控制，对学习动态有显著影响。
• 目标网络平滑常数 tau 影响训练的稳定性和速度，具有相对较宽的可行范围。
• 使用策略均值进行评估可能得到更好的性能，尽管 SAC 在优化的是随机策略。