[论文解读] Total stochastic gradient algorithms and applications in reinforcement learning

Paavo Parmas|arXiv (Cornell University)|Feb 5, 2019

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出了一种基于全微分法则的新型梯度估计框架，用于概率计算图中的梯度估计，实现了策略梯度估计器的直观推导。该文提出了两种新估计器——DEL（基于密度估计的）和GS（跳转至中间节点）——并提供了证据表明，通过高斯近似实现的梯度稳定性和奖励平滑性共同解释了PILCO在强化学习中取得成功的原因。

ABSTRACT

Backpropagation and the chain rule of derivatives have been prominent; however, the total derivative rule has not enjoyed the same amount of attention. In this work we show how the total derivative rule leads to an intuitive visual framework for creating gradient estimators on graphical models. In particular, previous "policy gradient theorems" are easily derived. We derive new gradient estimators based on density estimation, as well as a likelihood ratio gradient, which "jumps" to an intermediate node, not directly to the objective function. We evaluate our methods on model-based policy gradient algorithms, achieve good performance, and present evidence towards demystifying the success of the popular PILCO algorithm.

研究动机与目标

• 开发一种统一且直观的框架，利用全微分法则推导随机计算图中的梯度估计器。
• 解决现有框架（如Schulman等人提出的代理损失方法）的局限性，后者无法涵盖确定性策略梯度或全路径传播。
• 通过解耦基于高斯的轨迹近似中梯度与奖励的影响，为PILCO算法的成功提供新见解。
• 引入新型梯度估计器，避免“混沌诅咒”且无需注入噪声，从而提升样本效率与稳定性。

提出的方法

• 使用全微分法则 $\frac{df}{da} = \frac{\partial f}{\partial a} + \frac{\partial f}{\partial b}\frac{db}{da}$，将概率图中计算路径上的梯度进行分解。
• 提出DEL（基于密度估计的似然比）估计器，通过密度估计实现梯度估计，无需注入噪声。
• 引入GS（指向中间节点的梯度）估计器，执行似然比梯度估计，但不是针对最终目标，而是针对计算图中的中间节点。
• 将该框架应用于基于模型的策略梯度算法，在小车-摆杆提升与平衡任务上评估性能。
• 采用概率计算图抽象，将模型结构与推理算法分离，类似于概率图模型。
• 使用合成数据与真实世界基准，对比GTP（广义全传播）、PILCO及其他基线方法，测量成功率与损失分布。

实验结果

研究问题

• RQ1 全微分法则如何系统地用于推导随机计算图中的梯度估计器？
• RQ2 通过中间节点估计梯度（GS）与直接估计至目标函数相比，其概念优势与实证优势为何？
• RQ3 PILCO中基于高斯近似的机制在多大程度上促成了其成功——是通过梯度稳定性还是奖励平滑性？
• RQ4 基于密度估计的梯度估计器（DEL）能否避免“混沌诅咒”并消除策略梯度中对噪声注入的需求？
• RQ5 在小车-摆杆提升等具有挑战性的控制任务上，不同梯度估计器在数据效率与鲁棒性方面表现如何？

主要发现

• GS估计器能够在保留粒子轨迹时间依赖性的同时，实现对离散计算的反向传播，而基于重采样的方法则无法做到。
• 在Tip Cost任务中，GTP（广义全传播）的性能与PILCO相当，最终损失为 $9.78 \pm 0.40$，而PILCO的损失为 $9.10 \pm 0.22$。
• 在低噪声（$k=10^{-2}$）的Angle Cost场景中，GTP的成功率为0.88，与PILCO持平，而TP（全传播）表现显著更差，成功率为0.82。
• DEL估计器展现出强大的概念潜力，因为它既避免了“混沌诅咒”，也无需注入噪声，但尚需进一步开发。
• GTP与PILCO中的异常值是由收敛至局部极小值并利用高斯状态分布尾部所导致，这挑战了关于PILCO探索策略的既有假设。
• 梯度稳定性和通过高斯近似实现的奖励平滑性均对PILCO的成功有贡献，其中后者在高噪声环境下尤为有效，而基于LR的方法在此类场景中会失效。