[论文解读] Distributional Reinforcement Learning for Multi-Dimensional Reward Functions

Pushi Zhang, Xiaoyu Chen+4 more|arXiv (Cornell University)|Oct 26, 2021

Reinforcement Learning in Robotics参考文献 21被引用 4

一句话总结

该论文提出多维分布DQN（MD3QN），一种分布强化学习方法，通过建模多个奖励源的联合回报分布，同时捕捉各奖励源的随机性与源间相关性。通过最小化预测联合分布与Bellman目标联合分布之间的最大均值差异（MMD），MD3QN在Wasserstein度量下实现收敛，并在多维奖励环境中优于HRA等先前方法，展现出准确的联合分布建模能力与更优的样本效率。

ABSTRACT

A growing trend for value-based reinforcement learning (RL) algorithms is to capture more information than scalar value functions in the value network. One of the most well-known methods in this branch is distributional RL, which models return distribution instead of scalar value. In another line of work, hybrid reward architectures (HRA) in RL have studied to model source-specific value functions for each source of reward, which is also shown to be beneficial in performance. To fully inherit the benefits of distributional RL and hybrid reward architectures, we introduce Multi-Dimensional Distributional DQN (MD3QN), which extends distributional RL to model the joint return distribution from multiple reward sources. As a by-product of joint distribution modeling, MD3QN can capture not only the randomness in returns for each source of reward, but also the rich reward correlation between the randomness of different sources. We prove the convergence for the joint distributional Bellman operator and build our empirical algorithm by minimizing the Maximum Mean Discrepancy between joint return distribution and its Bellman target. In experiments, our method accurately models the joint return distribution in environments with richly correlated reward functions, and outperforms previous RL methods utilizing multi-dimensional reward functions in the control setting.

研究动机与目标

• 为解决在多奖励强化学习中基于标量和边缘值函数学习的局限性，通过建模联合回报分布来改进。
• 不仅捕捉各奖励源内部的随机性，还捕捉其间的相关性，以实现对环境的更丰富理解。
• 将分布强化学习从标量回报扩展至多维回报分布，使用理论基础坚实的Bellman算子。
• 开发一种经验算法，通过MMD损失近似联合分布Bellman算子，实现训练。

提出的方法

• 提出一种联合分布Bellman算子，该算子在Wasserstein度量下将联合回报分布映射至其目标分布。
• 证明了在Wasserstein度量下，联合分布Bellman算子的收敛性，确保理论稳定性。
• 提出MD3QN算法，通过最小化预测联合分布与Bellman目标之间最大均值差异（MMD），近似Bellman算子。
• 使用带无偏MMD估计的小批量梯度下降法优化联合分布，实现可扩展训练。
• 采用深度神经网络回归多个奖励源的联合回报分布，每个源对应一个输出头。
• 将方法应用于具有分解奖励的环境（如Atari游戏、迷宫任务），使用像素观测并端到端训练。

实验结果

研究问题

• RQ1 建模多维回报的联合分布是否能提升基于值函数强化学习的样本效率与性能？
• RQ2 在多奖励环境中，捕捉源间奖励相关性如何影响策略学习与表征质量？
• RQ3 联合分布Bellman算子在标准度量下是否收敛？能否在实践中有效近似？
• RQ4 基于MMD的训练是否能提供一种稳定且准确的学习联合回报分布的方法，而无需显式密度估计？
• RQ5 MD3QN在建模相关奖励与最终性能方面，相较于HRA和MMDQN等现有方法表现如何？

主要发现

• 在迷宫环境与Atari游戏中，MD3QN成功建模了多个奖励源的联合回报分布，可视化结果表明其与真实分布高度一致。
• 在包含互斥、相同及多奖励源的迷宫环境中，MD3QN准确捕捉了奖励相关性，样本分布与真实模式匹配良好。
• 在六款具有分解奖励的Atari游戏中，MD3QN在所有环境中均优于或匹配HRA的性能，展现出更优的学习效率。
• 尽管在部分Atari游戏中未超越MMDQN，MD3QN仍实现优于或等同于HRA的性能，表明联合分布建模相比边缘建模具有显著优势。
• 附录A.3.3的消融实验表明，仅建模边缘分布的模型在具有相关约束的环境中表现失败，证明了联合分布学习的必要性。
• MD3QN所建模的联合分布反映了现实中的奖励相关性与量级关系，例如在MsPacman中击倒怪物与收集得分呈正相关，验证了该方法的表征能力。