[论文解读] Distributional Soft Actor Critic for Risk Sensitive Learning.

Xiaoteng Ma, Qiyuan Zhang+4 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 47被引用 12

一句话总结

该论文提出分布软演员-critic（DSAC），一种新颖的强化学习算法，将分布式强化学习与最大熵强化学习相结合，以建模回报的完整分布并提升策略多样性。通过利用完全参数化的分位数函数，DSAC 实现了风险敏感控制，并在连续控制基准测试中表现出优于最先进方法的性能，展现出更高的稳定性和对风险偏好的适应能力。

ABSTRACT

Most of reinforcement learning (RL) algorithms aim at maximizing the expectation of accumulated discounted returns. Since the accumulated discounted return is a random variable, its distribution includes more information than its expectation. Meanwhile, entropy of policy indicates its diversity and it can help improve the exploration capability of algorithms. In this paper, we present a new RL algorithm named Distributional Soft Actor Critic (DSAC), combining distributional RL and maximum entropy RL together. Taking the randomness both in action and discounted return into consideration, DSAC over performs the state-of-the-art baselines with more stability in several continuous control benchmarks. Moreover, distributional information of returns can also be used to measure metrics other than expectation, such as risk-related metrics. With a fully parameterized quantile function, DSAC is easily adopted to optimize policy under different risk preferences. Our experiments demonstrate that with distribution modeling in RL the agent performs better both for risk-averse and risk-seeking control tasks.

研究动机与目标

• 解决标准强化学习算法仅优化期望回报而忽略回报完整分布的局限性。
• 通过在学习目标中引入熵正则化，增强探索能力和策略多样性。
• 通过建模回报分布实现风险敏感学习，支持在不同风险偏好（如风险规避或风险追求）下的优化。
• 开发一个统一框架，结合分布式回报与熵最大化，以提升连续控制中的样本效率与鲁棒性。
• 证明分布建模在实现稳定且可适应不同风险特征的策略学习方面的有效性。

提出的方法

• 提出一种分布式强化学习框架，利用参数化分位数函数对累积折扣回报的完整分布进行建模。
• 将分布式回报建模与最大熵强化学习相结合，通过策略熵鼓励探索。
• 采用软演员-critic架构，其中评论家通过分位数输出估计回报分布，实现风险感知的价值估计。
• 使用完全参数化的分位数函数，支持对不同风险度量（如条件风险价值，CVaR）的灵活优化。
• 通过最小化分位数回归损失，端到端训练策略网络与价值网络，采用分布式贝尔曼更新。
• 通过在训练过程中调整分位数水平，支持风险敏感行为，使智能体能够学习适配风险规避或风险追求目标的策略。

实验结果

研究问题

• RQ1 将分布式强化学习与最大熵强化学习结合，是否能在连续控制任务中实现更稳定且样本高效的训练？
• RQ2 与仅基于期望的方法相比，建模回报的完整分布在多大程度上能提升策略性能？
• RQ3 分布式回报模型在不同风险偏好下，能在多大程度上支持风险敏感控制？
• RQ4 所提出方法是否能在平均回报与跨多样化基准的鲁棒性方面超越最先进算法？
• RQ5 在高维控制环境中，策略熵的引入在多大程度上影响探索行为与收敛性？

主要发现

• DSAC 在多个连续控制基准测试中均优于最先进基线方法，表现出更高的稳定性和样本效率。
• 分布式回报建模的整合使智能体能够有效优化条件风险价值（CVaR）等风险相关指标，支持风险规避与风险追求行为。
• 通过建模完整的回报分布，DSAC 在熵正则化下增强了策略多样性，带来更优的探索效果与更快的收敛速度。
• 该方法在高回报与低方差性能方面均表现出一致改进，表明其在不同风险偏好下具有鲁棒性。
• 完全参数化的分位数函数使方法能无缝适配不同风险目标，而无需改变网络架构。