[论文解读] Model-based Reinforcement Learning for Continuous Control with Posterior Sampling

Ying Fan, Yifei Ming|arXiv (Cornell University)|Nov 20, 2020

Advanced Bandit Algorithms Research被引用 4

一句话总结

该论文提出MPC-PSRL，一种用于连续控制的基于模型强化学习算法，通过在神经网络特征上使用贝叶斯线性回归进行后验采样以改进探索。在线性MDP中，其遗憾界为$ ilde{O}(H^{3/2}deta{d}eta{T})$，在样本效率方面优于以往的基于模型方法，同时在收敛时达到与无模型方法相当的性能。

ABSTRACT

Balancing exploration and exploitation is crucial in reinforcement learning (RL). In this paper, we study model-based posterior sampling for reinforcement learning (PSRL) in continuous state-action spaces theoretically and empirically. First, we show the first regret bound of PSRL in continuous spaces which is polynomial in the episode length to the best of our knowledge. With the assumption that reward and transition functions can be modeled by Bayesian linear regression, we develop a regret bound of $ ilde{O}(H^{3/2}d\sqrt{T})$, where $H$ is the episode length, $d$ is the dimension of the state-action space, and $T$ indicates the total time steps. This result matches the best-known regret bound of non-PSRL methods in linear MDPs. Our bound can be extended to nonlinear cases as well with feature embedding: using linear kernels on the feature representation $ϕ$, the regret bound becomes $ ilde{O}(H^{3/2}d_ϕ\sqrt{T})$, where $d_ϕ$ is the dimension of the representation space. Moreover, we present MPC-PSRL, a model-based posterior sampling algorithm with model predictive control for action selection. To capture the uncertainty in models, we use Bayesian linear regression on the penultimate layer (the feature representation layer $ϕ$) of neural networks. Empirical results show that our algorithm achieves the state-of-the-art sample efficiency in benchmark continuous control tasks compared to prior model-based algorithms, and matches the asymptotic performance of model-free algorithms.

研究动机与目标

• 开发一种理论基础坚实、计算上可行的连续控制探索方法，通过后验采样实现。
• 为连续状态-动作空间中的PSRL建立一个关于轨迹长度H为多项式、关于T为次线性的遗憾界。
• 通过贝叶斯函数逼近更好地捕捉模型不确定性，从而提升基于模型强化学习的样本效率。
• 证明基于模型预测控制（MPC）的后验采样可匹配或超越连续控制任务中无模型方法的性能。

提出的方法

• 通过每轮采样一个MDP从后验分布中，将后验采样用于连续MDP中的强化学习（PSRL）。
• 对神经网络的倒数第二层应用贝叶斯线性回归，以建模转移和奖励函数，从而在特征空间中捕捉不确定性。
• 使用模型预测控制（MPC）进行动作选择，在整个轨迹上对采样的MDP进行优化。
• 使用核化特征（例如在表征φ上的线性核）将结果推广至非线性MDP，遗憾界为$\tilde{O}(H^{3/2}d_{\phi}\sqrt{T})$。
• 利用模型后验分布自然地平衡探索与利用，无需对置信集进行优化。
• 采用贝叶斯方法进行不确定性量化，避免了UCB风格置信集优化带来的计算负担。

实验结果

研究问题

• RQ1 PSRL在连续控制中能否实现关于H为多项式、关于T为次线性的遗憾界，与最优UCB基线一致？
• RQ2 与UCB基方法相比，基于贝叶斯函数逼近的后验采样在计算效率和统计性能方面表现如何？
• RQ3 基于模型强化学习结合后验采样与MPC能否在连续控制基准上实现比现有基于模型和无模型方法更优的样本效率？
• RQ4 通过在深度网络的特征表示层使用贝叶斯线性回归建模不确定性，会产生何种影响？

主要发现

• 该论文首次为连续MDP中的PSRL建立了$ ilde{O}(H^{3/2}deta{d}eta{T})$的遗憾界，与线性MDP中最佳已知UCB基线一致。
• 通过特征嵌入，该遗憾界可扩展至非线性MDP，当在表征空间上使用线性核时，遗憾界为$ ilde{O}(H^{3/2}d_{\phi}\sqrt{T})$。
• MPC-PSRL在包含噪声的随机连续控制基准上实现了最先进样本效率，包括连续Cartpole和带噪声的Pendulum Swing Up任务。
• 在7-DOF Reacher和Pusher任务中，当提供真实奖励时，MPC-PSRL优于PETS和MBPO，收敛更快且最终性能更优。
• 当动力学和奖励均未知时，MPC-PSRL显著优于以往的基于模型和无模型方法，并与SAC的渐近性能相当。
• 结果证实，通过在神经网络特征上使用后验采样建模不确定性，可实现比PETS和MBPO等集成方法更优的探索性能。