[论文解读] A Distributional Perspective on Reinforcement Learning

Marc G. Bellemare, Will Dabney+1 more|arXiv (Cornell University)|Jul 21, 2017

Reinforcement Learning in Robotics参考文献 38被引用 241

一句话总结

该论文主张在强化学习中对回报的完整分布（价值分布）进行建模，提出了一个在 Wasserstein 距离上对策略评估具有收缩性的分布式 Bellman 框架，分析控制设置中的不稳定性，并提出一个离散分布学习算法（categorical DQN），在 Atari 上取得了强劲结果。

ABSTRACT

In this paper we argue for the fundamental importance of the value distribution: the distribution of the random return received by a reinforcement learning agent. This is in contrast to the common approach to reinforcement learning which models the expectation of this return, or value. Although there is an established body of literature studying the value distribution, thus far it has always been used for a specific purpose such as implementing risk-aware behaviour. We begin with theoretical results in both the policy evaluation and control settings, exposing a significant distributional instability in the latter. We then use the distributional perspective to design a new algorithm which applies Bellman's equation to the learning of approximate value distributions. We evaluate our algorithm using the suite of games from the Arcade Learning Environment. We obtain both state-of-the-art results and anecdotal evidence demonstrating the importance of the value distribution in approximate reinforcement learning. Finally, we combine theoretical and empirical evidence to highlight the ways in which the value distribution impacts learning in the approximate setting.

研究动机与目标

• 通过关注回报的分布 Z 而不仅仅是它的期望 Q，来激发对强化学习的分布视角。
• 刻画在策略评估与控制中的分布式 Bellman 操作符的理论行为。
• 开发一个实用的算法来学习近似的价值分布并评估其在 Atari 游戏上的经验表现。

提出的方法

• 在策略下定义价值分布 Z 并制定分布式 Bellman 方程。
• 使用 Wasserstein 距离来分析在策略评估（T^π）中的分布式 Bellman 操作符的收缩性质。
• 在控制设置中展示分布式最优性算子的不稳定性，包括非收缩性和非定点问题。
• 提出一种参数化的离散分布（在固定网格上的原子）来建模 Z，并对支撑进行基于投影的 Bellman 更新（多类分类）。
• 通过最小化投影后的 Bellman 更新与当前分布之间的 KL 散度，训练一个分类分布式 DQN（C51）。
• 在 Arcade Learning Environment 的 Atari 2600 游戏上进行评估，并与 DQN 家族基线进行比较。

实验结果

研究问题

• RQ1 将完整的价值分布建模是否在理论和经验上优于仅学习期望回报？
• RQ2 在策略评估和控制设置中，分布式 Bellman 操作符是否在合适的度量下具有收缩性？
• RQ3 是否可以通过离散化分布实现可处理的分布近似并有效学习，从而在像 Atari 这类复杂任务上带来改进？

主要发现

• 在策略评估中，分布式 Bellman 操作符是在最大 Wasserstein 度量下的 γ-收缩，且收敛到真实的值分布 Z^π。
• 在控制设置中，分布式最优性算子在任何分布的度量下都不是收缩的，且可能没有固定点，表明贪心更新的不稳定性。
• 学习完整的价值分布可以保持多模态性，并在函数逼近和非平稳策略下带来更稳定的学习。
• 通过投影学习的离散参数化价值分布（分类算法）在多款 Atari 游戏上可以超越 DQN，在某些标题上达到最先进的结果。
• 增加分布中的原子数量通常会提高性能，在多款游戏中相比 DQN 有显著提升。
• 该方法更有效地传播罕见或稀疏奖励，提升稀疏奖励游戏的表现。