[论文解读] GAN Q-learning.

Thang Doan, Bogdan Mazoure+1 more|arXiv (Cornell University)|May 13, 2018

Reinforcement Learning in Robotics参考文献 16被引用 8

一句话总结

本文提出 GAN Q-learning，一种新颖的分布式强化学习方法，利用生成对抗网络（GANs）对马尔可夫决策过程中的回报分布进行建模。通过结合 GAN 的生成能力与 Q-learning，该方法在表格型环境和 OpenAI Gym 环境中均实现了具有竞争力的性能，为传统分布式强化学习方法提供了一种灵活的、基于深度学习的替代方案。

ABSTRACT

Distributional reinforcement learning (distributional RL) has seen empirical success in complex Markov Decision Processes (MDPs) in the setting of nonlinear function approximation. However, there are many different ways in which one can leverage the distributional approach to reinforcement learning. In this paper, we propose GAN Q-learning, a novel distributional RL method based on generative adversarial networks (GANs) and analyze its performance in simple tabular environments, as well as OpenAI Gym. We empirically show that our algorithm leverages the flexibility and blackbox approach of deep learning models while providing a viable alternative to traditional methods.

研究动机与目标

• 探索利用生成模型应用分布式强化学习的新方法。
• 通过引入基于 GAN 的回报分布建模方法，解决传统分布式强化学习方法的局限性。
• 在表格型环境和连续控制环境中评估所提出方法的性能。
• 证明基于 GAN 的建模方法为传统分布式强化学习技术提供了一种灵活的黑箱替代方案。

提出的方法

• 该方法采用生成对抗网络（GAN）框架，将分布式 Q-learning 表述为回报分布的建模方法。
• 生成器网络学习生成来自回报分布的样本，而判别器网络则区分真实样本与生成样本。
• 通过对抗训练，生成器被训练以欺骗判别器，从而有效学习真实回报分布。
• 利用生成的回报样本更新 Q-value 函数，将 GAN 的输出整合到 Q-learning 的更新规则中。
• 该方法利用深度神经网络，实现在复杂环境中的非线性函数逼近。
• 训练过程交替更新生成器和判别器，类似于标准 GAN 训练，但引入了强化学习目标。

实验结果

研究问题

• RQ1 基于 GAN 的框架能否有效建模分布式强化学习中的回报分布？
• RQ2 GAN Q-learning 在表格型环境和连续控制环境中与标准分布式强化学习方法相比表现如何？
• RQ3 GAN 中的对抗训练范式是否能提升 Q-learning 中的样本效率或分布建模精度？
• RQ4 GAN 的黑箱特性在建模复杂回报分布方面提供了多大程度的灵活性？

主要发现

• GAN Q-learning 在表格型环境中成功建模了回报分布，表现出稳定的学习和收敛性。
• 该方法在 OpenAI Gym 环境中实现了具有竞争力的性能，证明其在复杂马尔可夫决策过程中的可行性。
• 该方法利用深度学习和 GAN 的灵活性，为传统分布式强化学习方法提供了一种稳健的替代方案。
• 实证结果表明，对抗训练机制在无需显式参数化分布的情况下，显著提升了分布建模效果。