[论文解读] Efficient Model-Free Reinforcement Learning Using Gaussian Process

Ying Fan, Letian Chen+1 more|arXiv (Cornell University)|Dec 11, 2018

Reinforcement Learning in Robotics参考文献 20被引用 5

一句话总结

本文提出GPPSTD，一种无需环境模型的强化学习算法，通过在高斯过程上进行后验采样，实现连续状态空间中的高效探索。通过整合多样化的示范——包括次优示范——该方法降低了Q值估计的不确定性，相较于基线方法，实现了更快的收敛速度和更高的样本效率。

ABSTRACT

Efficient Reinforcement Learning usually takes advantage of demonstration or good exploration strategy. By applying posterior sampling in model-free RL under the hypothesis of GP, we propose Gaussian Process Posterior Sampling Reinforcement Learning(GPPSTD) algorithm in continuous state space, giving theoretical justifications and empirical results. We also provide theoretical and empirical results that various demonstration could lower expected uncertainty and benefit posterior sampling exploration. In this way, we combined the demonstration and exploration process together to achieve a more efficient reinforcement learning.

研究动机与目标

• 开发一种无模型强化学习算法，实现在连续状态空间中的高样本效率。
• 将各种形式的人类示范——最优、次优及失败示范——整合到探索过程中，以降低价值函数估计的不确定性。
• 为利用示范降低高斯过程Q值模型中期望不确定性的理论依据提供支持。
• 通过实证结果证明，将示范与后验采样探索相结合，可实现更快的学习速度和更低的遗憾值。

提出的方法

• GPPSTD算法对Q函数的联合高斯过程模型应用后验采样，无需学习环境模型即可实现高效探索。
• 采用平方指数核来建模状态-动作对之间的相似性，对不同动作设置长度尺度为零，以强制动作之间的独立性。
• 利用示范对GP模型进行预训练，降低初始后验方差，从而减少Q值估计的期望不确定性。
• 理论分析表明，在确定性环境中，GPPSTD的贝叶斯遗憾界为Õ(√(HT))，对单个状态的贝叶斯估计误差界为Õ(√(T/H))。
• 该方法利用后验采样平衡探索与利用，通过从GP后验中采样并选择采样Q值最高的动作。
• 该框架在理论上可扩展至贝叶斯神经网络，因为GP与BNN在特定条件下密切相关。

实验结果

研究问题

• RQ1 对高斯过程模型进行后验采样是否能在无模型强化学习的连续状态空间中提供理论支持且高效的探索？
• RQ2 如何利用多样化示范（超越最优示范）降低Q值估计的不确定性并提升学习效率？
• RQ3 与标准探索策略相比，将示范与后验采样结合是否能在实践中实现更低的遗憾值和更快的收敛速度？
• RQ4 在标准控制基准测试中，能否实证验证示范带来的期望不确定性降低的理论优势？
• RQ5 基于GP的框架在多大程度上可推广至强化学习中的贝叶斯神经网络？

主要发现

• 在CartPole环境中，GPPSTD显著优于使用ε-贪婪策略的GPTD和使用ε-贪婪策略的深度Q网络，展现出更高的样本效率和更强的鲁棒性。
• 使用多样化示范（包括次优和失败轨迹）相比仅使用最优示范，可显著降低初始后验方差（动作不确定性）。
• 在多种预训练设置（5条最优和5条次优轨迹）下，GPPSTD达到最低遗憾值和最佳性能，优于仅使用最优示范预训练和无预训练设置。
• 仅使用最优示范预训练导致估计方差更高且性能波动明显，证实多样化示范能更有效地降低不确定性。
• 理论分析确认，示范可降低GP模型的期望不确定性，从而提升基于后验采样探索的效率。
• 实证结果表明，结合示范数据后，基于GP的模型在样本效率上可超越深度神经网络，尤其在CartPole任务中表现更优。