[论文解读] An Analysis of Categorical Distributional Reinforcement Learning

Mark Rowland, Marc G. Bellemare+3 more|arXiv (Cornell University)|Feb 22, 2018

Reinforcement Learning in Robotics参考文献 17被引用 40

一句话总结

本文为分类分布式强化学习（CDRL）建立理论框架，证明基于Cramér距离投影步的样本级CDRL方法的收敛性，并量化离散化造成的近似误差。

ABSTRACT

Distributional approaches to value-based reinforcement learning model the entire distribution of returns, rather than just their expected values, and have recently been shown to yield state-of-the-art empirical performance. This was demonstrated by the recently proposed C51 algorithm, based on categorical distributional reinforcement learning (CDRL) [Bellemare et al., 2017]. However, the theoretical properties of CDRL algorithms are not yet well understood. In this paper, we introduce a framework to analyse CDRL algorithms, establish the importance of the projected distributional Bellman operator in distributional RL, draw fundamental connections between CDRL and the Cramér distance, and give a proof of convergence for sample-based categorical distributional reinforcement learning algorithms.

研究动机与目标

• 推动并形式化研究分布式强化学习，其中回报是分布而不是期望值。
• 引入一个统一的分类分布式强化学习（CDRL）框架，并识别关键近似。
• 分析离散化与投影对学习动力学和收敛性的影响。
• 建立样本基CDRL算法在策略评估与控制中的收敛性结果。

提出的方法

• 定义回报分布和分布式Bellman算子。
• 引入固定支撑上的参数化类别分布族。
• 在Bellman备份后使用射影算子 Pi_C 将其映射回参数化家族。
• 采用带梯度（KL）更新的随机近似方案或混合更新进行学习。
• 证明投影算子在Cramér距离（ell_2）下的收缩性并推导收敛性结果。
• 给出有限网格误差界并讨论离散化粒度的含义。

实验结果

研究问题

• RQ1 带有Cramér距离投影的投影分布Bellman算子是否仍然具有收缩性并确保收敛？
• RQ2 离散化（类别支撑）如何影响对真实回报分布及最优策略的近似？
• RQ3 带随机更新的基于样本的CDRL在策略评估和控制（Q-learning）中是否能收敛到有意义的极限？
• RQ4 在使用带投影的分布更新时，学习过程如何确保保持最优性？
• RQ5 投影在CDRL算法的收敛性与稳定性中的作用是什么？

主要发现

• 复合算子 Pi_C T^π 在 Cramér 距离下是 sqrt(γ)-收缩，得到唯一的固定点 η_C。
• 极限分布 η_C 近似真实 η_π，误差界随网格间距和 1/(1−γ) 的乘积而变。
• 带 Robbins–Monro 步长的随机混合更新在策略评估中几乎必然收敛到 η_C。
• 在某些条件下，相应的分类Q学习收敛到极限 η_C^*，其贪婪策略是最优策略 π^*。
• Cramér 投影通过在类似希尔伯特空间中充当正交投影，发挥关键作用，从而实现收缩性和收敛性分析。
• 该框架揭示了离散化和投影如何相互作用，以产生可处理、具备可证明收敛性的CDRL算法。