[论文解读] Dyna Planning using a Feature Based Generative Model

Ryan Faulkner, Doina Precup|arXiv (Cornell University)|May 23, 2018

Reinforcement Learning in Robotics参考文献 16被引用 3

一句话总结

本文提出在动态强化学习（Dyna）框架中使用深度置信网络（DBNs）作为非线性生成模型，以提升高维状态空间（如图像观测）中的样本效率。该方法在学习速度和性能方面显著优于线性模型，尤其在为价值函数学习生成高质量模拟轨迹方面表现突出。

ABSTRACT

Dyna-style reinforcement learning is a powerful approach for problems where not much real data is available. The main idea is to supplement real trajectories, or sequences of sampled states over time, with simulated ones sampled from a learned model of the environment. However, in large state spaces, the problem of learning a good generative model of the environment has been open so far. We propose to use deep belief networks to learn an environment model for use in Dyna. We present our approach and validate it empirically on problems where the state observations consist of images. Our results demonstrate that using deep belief networks, which are full generative models, significantly outperforms the use of linear expectation models, proposed in Sutton et al. (2008)

研究动机与目标

• 为解决在大规模或连续状态空间中学习有效生成模型的挑战，传统Dyna方法在这些场景下表现困难。
• 通过利用深度置信网络对复杂高维观测（如图像）进行建模，提升强化学习中的样本效率。
• 证明在Dyna式规划中，非线性生成模型优于线性期望模型。
• 在基于图像观测和非确定性转移的环境中验证该方法的有效性。

提出的方法

• 该方法使用深度置信网络（DBNs）从图像观测中学习状态的分层非线性表示。
• 在两个DBN之间训练一个时间层，以建模给定当前状态和动作时下一状态的条件分布。
• 针对每个动作，训练一个独立的DBN以建模状态转移，从而实现动作条件下的下一状态生成。
• 通过将当前状态观测作为输入，在DBN上执行推理，生成模拟转移。
• 将这些模拟转移与真实经验结合，使用线性函数逼近的TD(0)学习方法更新价值函数。
• 模拟样本的学习率随训练轮次衰减，同时采用退火策略的ε-greedy探索。

实验结果

研究问题

• RQ1 深度置信网络能否有效建模强化学习环境中复杂高维的状态转移？
• RQ2 在Dyna框架中使用非线性生成模型是否能实现比线性模型更快且更准确的价值函数学习？
• RQ3 在基于图像观测和随机动力学的环境中，生成模型的表现如何？
• RQ4 模拟轨迹的质量在多大程度上影响Dyna规划的性能？

主要发现

• 使用DBNs训练的生成模型在从图像观测预测下一状态方面达到了高精度，从而实现了有效的模拟。
• 与基线的TD(0)/SARSA相比，基于DBN的Dyna方法在实现高回报时所需的与真实环境交互次数更少，且总数据量更少。
• DBN-based模型生成的模拟轨迹质量优于线性模型，支持更长且更有效的规划。
• 线性模型的模拟转移在约10步后迅速退化，限制了其在长时程规划中的实用性。
• 在每步真实交互中使用K=50步模拟的生成Dyna方法实现了卓越性能，约14小时完成7500步环境交互。
• 从生成Dyna模型推断出的策略表现出连贯且目标导向的行为，如网格世界行走的可视化所示。