[论文解读] Distributional reinforcement learning with linear function approximation

Marc G. Bellemare, Nicolas Le Roux+2 more|arXiv (Cornell University)|Feb 8, 2019

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种基于Cramér距离的分布强化学习算法，采用线性函数逼近，用对任意实值向量的Cramér距离直接最小化替代C51中的softmax和KL损失。该工作首次为带有函数逼近的分布强化学习算法提供了形式化收敛证明，但实验结果表明，由于方差增加和非概率性输出，其性能可能劣于标准值函数逼近方法。

ABSTRACT

Despite many algorithmic advances, our theoretical understanding of practical distributional reinforcement learning methods remains limited. One exception is Rowland et al. (2018)'s analysis of the C51 algorithm in terms of the Cramér distance, but their results only apply to the tabular setting and ignore C51's use of a softmax to produce normalized distributions. In this paper we adapt the Cramér distance to deal with arbitrary vectors. From it we derive a new distributional algorithm which is fully Cramér-based and can be combined to linear function approximation, with formal guarantees in the context of policy evaluation. In allowing the model's prediction to be any real vector, we lose the probabilistic interpretation behind the method, but otherwise maintain the appealing properties of distributional approaches. To the best of our knowledge, ours is the first proof of convergence of a distributional algorithm combined with function approximation. Perhaps surprisingly, our results provide evidence that Cramér-based distributional methods may perform worse than directly approximating the value function.

研究动机与目标

• 开发一种理论基础坚实的分布强化学习算法，避免在C51中使用的softmax和KL损失。
• 将Cramér距离扩展至任意实值向量，使其适用于函数逼近设置。
• 在策略评估设置下，为带有线性函数逼近的分布强化学习算法提供正式的收敛保证。
• 探究带有函数逼近的分布方法是否能优于标准值函数逼近方法。

提出的方法

• 通过将模型输出视为非正规概率分布，调整Cramér距离以处理任意实值向量。
• 提出一种新的分布强化学习算法，通过在基于样本的贝尔曼算子上使用梯度下降，直接最小化修正后的Cramér距离。
• 使用线性函数逼近器表示值分布，通过在Cramér损失上进行随机梯度下降更新参数。
• 引入归一化惩罚以稳定训练过程，并确保即使在输出未归一化时也能实现收敛。
• 在标准线性函数逼近假设下推导理论收敛边界，证明在最大Cramér度量下收敛。
• 在Dopamine框架下实现并比较该方法（命名为S51）与C51和DQN在Atari游戏上的表现。

实验结果

研究问题

• RQ1 能否构建一种分布强化学习算法，通过最小化Cramér距离而不依赖softmax或KL散度？
• RQ2 当与线性函数逼近结合时，能否正式证明分布强化学习算法的收敛性？
• RQ3 最小化Cramér距离是否能带来优于直接逼近期望值的性能？
• RQ4 所提方法预测的分布与C51的分布相比在定性上有哪些不同？
• RQ5 在带有函数逼近的分布强化学习中，归一化在稳定性和性能方面起什么作用？

主要发现

• 所提出的S51算法在标准线性函数逼近条件下实现了收敛，为带有函数逼近的分布强化学习提供了首个正式收敛证明。
• 尽管实现了收敛，S51的性能界仍劣于标准值函数逼近算法，表明分布建模可能导致性能下降。
• S51在五款Atari游戏中有三款的表现与C51相当，表明即使没有归一化，分布学习仍可能有效。
• S51模型生成了多样化且非概率性的分布，包含负质量，并在零附近存在补偿性校正，这些行为在C51中由于softmax约束而不会出现。
• S51中缺乏softmax的压缩效应，导致所有回报的预测更嘈杂，这可能加剧方差并降低样本效率。
• 实证结果表明，C51的性能优势不仅源于更优的损失函数，还源于归一化和概率约束带来的正则化效应。