[论文解读] Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning

Gregory Farquhar, Shimon Whiteson+1 more|arXiv (Cornell University)|Sep 23, 2019

Reinforcement Learning in Robotics参考文献 17被引用 4

一句话总结

本文提出 Loaded DiCE，一种用于在强化学习中估计任意阶导数的新目标函数，具备可调节的偏差-方差权衡。通过将任意优势估计算法与针对远距离因果依赖的折扣机制相结合，该方法可借助自动微分实现低方差、无偏的高阶梯度估计，在元强化学习和复杂序列决策任务中显著提升性能。

ABSTRACT

Gradient-based methods for optimisation of objectives in stochastic settings with unknown or intractable dynamics require estimators of derivatives. We derive an objective that, under automatic differentiation, produces low-variance unbiased estimators of derivatives at any order. Our objective is compatible with arbitrary advantage estimators, which allows the control of the bias and variance of any-order derivatives when using function approximation. Furthermore, we propose a method to trade off bias and variance of higher order derivatives by discounting the impact of more distant causal dependencies. We demonstrate the correctness and utility of our objective in analytically tractable MDPs and in meta-reinforcement-learning for continuous control.

研究动机与目标

• 解决强化学习与序列决策中高方差和有偏的高阶梯度估计算法所面临的挑战。
• 支持任意优势估计算法（如价值函数）的使用，以控制任意阶导数的偏差与方差。
• 提供一个单一、可微分的目标函数，与自动微分完全兼容，支持具有马尔可夫结构的随机计算图中的高阶梯度估计。
• 引入一种因果折扣机制，通过超参数 λ 减少远距离依赖的影响，从而在高阶导数中实现对偏差与方差的进一步控制。
• 在解析可解的 MDP 和元强化学习环境中对方法进行实证验证，证明其在训练稳定性和性能方面的提升。

提出的方法

• 本文推导出一个代理目标函数，当其被多次微分时，可生成马尔可夫性随机计算图中任意阶导数的正确估计算法。
• 该目标函数将任意优势估计算法（如价值函数）整合进梯度估计过程，使已知的一阶偏差-方差权衡可推广至高阶导数。
• 通过引入一个超参数 λ，提出一种新颖的因果折扣机制，以减少高阶梯度计算中更远距离因果依赖的影响。
• 该方法使用一个超参数 τ 来控制蒙特卡洛样本与价值函数估计之间的相对权重，从而实现对偏差-方差权衡的显式控制。
• 该框架与自动微分完全兼容，仅需在现有使用高阶梯度的代码库中添加少量代码（仅几行），即可轻松集成。
• 该方法在保持理论正确性与实际可用性的前提下，将 DiCE 目标函数推广至支持高阶导数。

实验结果

研究问题

• RQ1 能否推导出一个单一目标函数，实现在具有马尔可夫结构的随机计算图中任意阶导数的低方差、无偏估计？
• RQ2 在高阶梯度估计中，任意优势估计算法的集成程度在多大程度上可实现对偏差与方差的控制？
• RQ3 通过 λ 实现的因果折扣在高阶导数的偏差-方差权衡中产生何种影响？
• RQ4 所提出的方法是否能提升元强化学习与连续控制任务中的训练稳定性和性能？
• RQ5 在现实强化学习应用中，超参数 τ 和 λ 对收敛性与最终性能的影响如何？

主要发现

• 在具有解析解的小型随机 MDP 中，当使用完美价值函数时，Loaded DiCE 能够产生无偏且低方差的高阶导数估计。
• 超参数 τ 和 λ 有效且灵活地实现了高阶梯度估计中偏差与方差的权衡，其中 τ 控制蒙特卡洛估计与基于价值函数估计之间的平衡。
• 在 CheetahDir 和 CheetahVel 任务的元强化学习中，非零 λ（如 λ=0.5）的版本比无偏的 λ=1.0 版本收敛更快，尽管两者最终性能相近。
• 在短时 horizon 任务中，较高的 τ 值会增加方差并降低性能，表明 τ 应根据回报方差和价值函数质量进行调优。
• 该方法在元强化学习中展现出显著影响，表明对高阶估计器偏差与方差的控制可带来训练效率与最终策略性能的可测量提升。
• 该框架仅需极小的代码修改（仅几行），即可轻松部署于现有的高阶强化学习代码库中。