[论文解读] Distributional Multivariate Policy Evaluation and Exploration with the Bellman GAN

Dror Freirich, Ron Meir+1 more|arXiv (Cornell University)|Aug 6, 2018

Forecasting Techniques and Applications被引用 7

一句话总结

本文提出一种基于生成对抗网络（GAN）的分布强化学习（DiRL）方法，通过建立分布贝尔曼方程与生成对抗网络之间的等价关系，实现在多维奖励设置下的有效策略评估与探索。该方法学习高维值分布，并统一状态分布与回报分布建模，从而驱动一种新型的基于差异性的内在探索策略。

ABSTRACT

The recently proposed distributional approach to reinforcement learning (DiRL) is centered on learning the distribution of the reward-to-go, often referred to as the value distribution. In this work, we show that the distributional Bellman equation, which drives DiRL methods, is equivalent to a generative adversarial network (GAN) model. In this formulation, DiRL can be seen as learning a deep generative model of the value distribution, driven by the discrepancy between the distribution of the current value, and the distribution of the sum of current reward and next value. We use this insight to propose a GAN-based approach to DiRL, which leverages the strengths of GANs in learning distributions of high-dimensional data. In particular, we show that our GAN approach can be used for DiRL with multivariate rewards, an important setting which cannot be tackled with prior methods. The multivariate setting also allows us to unify learning the distribution of values and state transitions, and we exploit this idea to devise a novel exploration method that is driven by the discrepancy in estimating both values and states.

研究动机与目标

• 解决先前DiRL方法在处理多维奖励时的局限性，而多维奖励在具有多个性能指标的实际控制任务中普遍存在。
• 在统一框架下联合学习值分布与状态转移分布，以提升样本效率与探索能力。
• 开发一种新颖的内在探索方法，利用值分布与状态分布的预测误差来引导探索。
• 在传统DiRL方法因离散化限制而失效的高维、相关奖励空间中，实现有效的策略评估与探索。

提出的方法

• 建立分布贝尔曼方程与Wasserstein GAN公式之间的等价关系，采用Wasserstein-1度量作为分布距离度量。
• 训练一个生成器网络，以状态-动作对为条件生成值分布（回报），同时判别器用于区分真实与生成的回报分布。
• 通过将回报建模为向量值的随机变量，将贝尔曼方程扩展至多维奖励，实现对相关奖励分量的联合学习。
• 通过在回报分布与下一状态分布上联合训练，将状态转移建模整合进GAN框架，使用共享潜在空间。
• 设计一种基于回报与下一状态预测分布之间差异性的新型内在奖励信号，用于引导探索。
• 采用最小化真实与生成值分布之间Wasserstein距离的GAN损失函数，提升训练稳定性和样本质量。

实验结果

研究问题

• RQ1 分布贝尔曼方程能否在形式上映射到GAN框架？其对训练稳定性和分布建模有何影响？
• RQ2 所提出的基于GAN的DiRL方法是否能有效处理先前方法因离散化约束而失效的多维、高维奖励函数？
• RQ3 联合建模值分布与状态分布如何改善强化学习环境中的探索能力？
• RQ4 基于分布预测误差的差异性内在奖励是否能带来更高效的探索与更快的收敛？

主要发现

• 分布贝尔曼方程在数学上等价于Wasserstein GAN，从而实现了对值分布深度生成模型的稳定训练。
• 所提出的Bellman GAN在迷宫环境中成功建模了8维回报分布，展现出多模态与结构特征，这是先前DiRL方法无法捕捉的。
• 该方法在多维奖励设置（如多奖励迷宫）中实现了有效的策略评估，其中每个状态在多个奖励类型上表现出不同的奖励模式。
• 基于分布差异的W-1ME探索算法，结合内在奖励，显著提升了对高奖励、高风险路径（如2-Face Climber中的北坡）的访问频率，从而获得更高的平均回报。
• 在W-1ME中，探索超参数η的取值越高，越能增加对更困难但回报更高的北坡的访问，证实了该方法能够有效引导探索向最优策略发展。
• 统一学习值分布与状态分布的框架提升了样本效率，并实现了更智能的探索，该结论在合成环境与高维基准测试中均得到验证。