[论文解读] MBMF: Model-Based Priors for Model-Free Reinforcement Learning

Somil Bansal, Roberto Calandra+3 more|arXiv (Cornell University)|Sep 10, 2017

Reinforcement Learning in Robotics参考文献 27被引用 20

一句话总结

该论文提出MBMF，一种通过利用学习到的动力学模型为模型自由（MF）策略搜索中的贝叶斯优化提供先验的、融合模型基础（MB）与模型自由（MF）强化学习的概率框架。通过结合模型预测的成本估计与直接的成本观测，MBMF在克服模型偏差的同时保持了快速收敛，相较于纯MB、MF及混合方法，在导航与操作任务中表现更优。

ABSTRACT

Reinforcement Learning is divided in two main paradigms: model-free and model-based. Each of these two paradigms has strengths and limitations, and has been successfully applied to real world domains that are appropriate to its corresponding strengths. In this paper, we present a new approach aimed at bridging the gap between these two paradigms. We aim to take the best of the two paradigms and combine them in an approach that is at the same time data-efficient and cost-savvy. We do so by learning a probabilistic dynamics model and leveraging it as a prior for the intertwined model-free optimization. As a result, our approach can exploit the generality and structure of the dynamics model, but is also capable of ignoring its inevitable inaccuracies, by directly incorporating the evidence provided by the direct observation of the cost. Preliminary results demonstrate that our approach outperforms purely model-based and model-free approaches, as well as the approach of simply switching from a model-based to a model-free setting.

研究动机与目标

• 通过整合两者的优点，弥合模型基础与模型自由强化学习之间的差距。
• 解决MB方法中的模型偏差问题，即使动力学模型准确，也可能导致次优策略。
• 通过结合模型预测与真实成本观测，提升策略学习中的数据效率与鲁棒性。
• 在保持泛化能力的同时，实现比纯MF方法更快的收敛速度，并避免学习到的动力学模型中的不准确性。

提出的方法

• 从环境交互中学习一个概率动力学模型，以预测在给定策略下的状态轨迹。
• 动力学模型预测的成本作为基于贝叶斯优化的模型自由策略搜索中的先验。
• 该方法使用联合概率框架，将模型预测中的不确定性与直接成本观测中的证据相结合。
• 策略搜索基于后验分布迭代更新，平衡模型预测与真实世界反馈。
• 该方法动态地整合真实成本测量，以纠正模型不准确性并减少偏差。
• 该框架采用高斯过程进行动力学建模，使用贝叶斯优化进行策略搜索。

实验结果

研究问题

• RQ1 能否将模型基础的动力学模型用作先验，以提升模型自由强化学习中的数据效率？
• RQ2 在策略优化过程中，如何缓解学习到的动力学模型中的模型偏差？
• RQ3 结合模型预测与真实成本观测，是否能实现比纯MB或MF方法更快、更鲁棒的策略学习？
• RQ4 在模型自由优化过程中，更新模型基础先验的最优频率是多少？

主要发现

• 在2D导航任务中，MBMF优于纯模型基础与模型自由方法，始终能成功抵达目标，而纯MB方法因模型不准确而失败。
• 在3-DoF机械臂操作任务中，MBMF在最优超参数（F=1）下优于所有基线方法，包括MB+MF切换策略，且性能方差更低。
• MBMF在收敛速度与最终性能上优于纯MB方法，尤其在需要复杂、接触丰富的动力学的任务中表现更优。
• 当先验更新频率（F）过低时，MBMF落后于纯MB方法；但当F最优时，能有效结合模型结构与真实成本证据。
• 轨迹对比显示，MBMF成功将物体推至目标附近，而纯MB方法因模型偏差而无法完成任务。
• 该方法对训练数据变化表现出鲁棒性，表现为跨运行的性能方差显著低于其他基线方法。