[论文解读] Implicit Distributional Reinforcement Learning

Yuguang Yue, Zhendong Wang+1 more|arXiv (Cornell University)|Jul 13, 2020

Reinforcement Learning in Robotics参考文献 44被引用 5

一句话总结

该论文提出了一种隐式分布演员-critic算法（IDAC），这是一种离策略强化学习算法，通过深度生成网络（DGNs）建模折扣累积回报的分布，并采用半隐式演员（SIA）实现灵活的策略学习。通过引入双延迟DGNs结构以缓解过估计问题，IDAC在OpenAI Gym的连续控制任务中实现了最先进性能，优于SAC和SDPG等基线算法。

ABSTRACT

To improve the sample efficiency of policy-gradient based reinforcement learning algorithms, we propose implicit distributional actor-critic (IDAC) that consists of a distributional critic, built on two deep generator networks (DGNs), and a semi-implicit actor (SIA), powered by a flexible policy distribution. We adopt a distributional perspective on the discounted cumulative return and model it with a state-action-dependent implicit distribution, which is approximated by the DGNs that take state-action pairs and random noises as their input. Moreover, we use the SIA to provide a semi-implicit policy distribution, which mixes the policy parameters with a reparameterizable distribution that is not constrained by an analytic density function. In this way, the policy's marginal distribution is implicit, providing the potential to model complex properties such as covariance structure and skewness, but its parameter and entropy can still be estimated. We incorporate these features with an off-policy algorithm framework to solve problems with continuous action space and compare IDAC with state-of-the-art algorithms on representative OpenAI Gym environments. We observe that IDAC outperforms these baselines in most tasks. Python code is provided.

研究动机与目标

• 通过结合分布式强化学习与随机策略学习，提升连续控制强化学习中的样本效率。
• 通过深度生成网络（DGNs）的隐式分布，建模折扣累积回报的完整分布。
• 实现灵活、复杂的策略分布，捕捉偏度、峰度和协方差结构，而无需依赖解析密度函数。
• 通过引入双延迟DGNs结构并采用排序输出的逐元素最小值，缓解基于值函数强化学习中常见的过估计问题。
• 通过消融研究和标准连续控制环境的基准比较，验证各组件的有效性。

提出的方法

• 分布式评论家使用两个深度生成网络（DGNs），以状态-动作对和随机噪声为输入，隐式建模回报分布，输出代表该分布的一组值。
• DGNs通过分布式Bellman更新进行训练，最小化目标分布与预测分布之间的Wasserstein距离。
• 策略通过半隐式演员（SIA）实现，结合可学习的策略参数与可重参数化的噪声分布，实现隐式边缘策略分布，支持熵和参数的可估计性。
• 引入双延迟DGNs结构：两个DGNs生成排序的回报值向量，目标值通过这两个向量的逐元素最小值计算，以减少过估计。
• 该算法在离策略演员-评论家框架内运行，使用回放缓冲区和目标网络以稳定训练过程。
• 策略梯度通过隐式策略的得分函数计算，即使在缺乏闭式密度函数的情况下，也能通过随机梯度下降实现端到端训练。

实验结果

研究问题

• RQ1 通过隐式分布建模累积回报的完整分布，能否提升连续控制强化学习中的样本效率和性能？
• RQ2 具有灵活分布特性（如偏度、协方差）的半隐式策略是否优于标准对角高斯策略？
• RQ3 双延迟DGNs结构能否有效缓解分布式强化学习中的过估计问题，类似于其在DQN和SAC中的成功应用？
• RQ4 IDAC的各组件——基于DGN的评论家、SIA策略和双延迟结构——对性能提升的独立贡献程度如何？
• RQ5 IDAC在多样化的连续控制环境中是否具有良好的泛化能力，能否超越SAC和SDPG等最先进算法？

主要发现

• IDAC在OpenAI Gym的大多数连续控制环境中优于最先进算法，包括SAC和SDPG，展现出更优的样本效率和最终性能。
• 消融研究证实，双延迟DGNs结构显著提升性能，IDAC相比其单DGN基线版本性能提升巨大。
• 半隐式演员（SIA）即使在高斯策略通过多次动作采样增强后，仍带来显著性能提升，表明复杂分布建模的价值。
• IDAC-Gaussian（使用高斯策略但基于DGN的评论家）仍优于SAC，表明仅分布式评论家本身已带来显著优势。
• 基于DGN的评论家带来的性能增益并非源于增加动作采样；在SAC中显式增加多个动作无法提升性能，确认IDAC的增益源于分布式建模。
• 两个排序DGN输出的逐元素最小值能有效减少过估计，稳定训练并在所有评估环境中提升收敛性能。