[论文解读] Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration

Christopher Xie, Sachin Patil+3 more|arXiv (Cornell University)|Sep 23, 2015

Reinforcement Learning in Robotics参考文献 14被引用 3

一句话总结

该论文提出了一种基于模型的强化学习方法，将参数化物理动力学模型与基于模型预测控制（MPC）的乐观探索相结合。通过利用形态学导出的特征实现快速最小二乘法动力学识别，并采用乐观MPC进行目标导向的探索，该方法在基准机器人任务（包括7自由度机械臂）上实现了最先进的样本效率和实时性能，优于以往方法在交互效率和计算速度方面的表现。

ABSTRACT

In this paper, we present a robotic model-based reinforcement learning method that combines ideas from model identification and model predictive control. We use a feature-based representation of the dynamics that allows the dynamics model to be fitted with a simple least squares procedure, and the features are identified from a high-level specification of the robot's morphology, consisting of the number and connectivity structure of its links. Model predictive control is then used to choose the actions under an optimistic model of the dynamics, which produces an efficient and goal-directed exploration strategy. We present real time experimental results on standard benchmark problems involving the pendulum, cartpole, and double pendulum systems. Experiments indicate that our method is able to learn a range of benchmark tasks substantially faster than the previous best methods. To evaluate our approach on a realistic robotic control task, we also demonstrate real time control of a simulated 7 degree of freedom arm.

研究动机与目标

• 通过将机器人形态学的领域知识整合到动力学建模中，加速基于模型强化学习的训练过程。
• 解决通用统计模型在连续控制任务中因需要大量交互样本而导致的低效问题。
• 通过降低模型识别与探索过程中的计算开销，实现计算资源高效的在线实时学习。
• 开发一种结合快速最小二乘法动力学拟合与乐观驱动探索的方法，以实现高效的任务完成。
• 在模拟环境中验证该方法在复杂、高维机器人系统（如7自由度机械臂）上的适用性。

提出的方法

• 基于机器人形态学的高层次特征（如连杆的数量与连接关系）构建基于特征的线性动力学模型，实现快速最小二乘拟合。
• 采用在不确定性面前保持乐观的模型预测控制（MPC），以引导探索朝向目标导向的轨迹。
• 随着交互数据的积累，逐步降低乐观程度，使模型能够收敛至真实动力学。
• 利用SymPyBotics等工具自动从机器人结构中生成动力学特征，避免人工特征工程。
• 采用参数化动力学模型，其中状态转移被表示为学习到的特征的线性组合。
• 将在线模型识别与基于MPC的控制相结合，实现在任务执行过程中的实时自适应。

实验结果

研究问题

• RQ1 在基于模型的强化学习机器人控制中，将物理先验知识融入动力学建模是否能显著降低样本复杂度？
• RQ2 基于MPC的乐观探索能否在计算上足够高效，以实现在高维机器人上的实时在线学习？
• RQ3 与以往基于模型的强化学习方法相比，该方法在标准基准测试中的样本效率和计算时间表现如何？
• RQ4 该方法是否能泛化到复杂、高自由度的机器人系统（如7自由度机械臂）且其动力学未知？
• RQ5 该方法在面对未建模的动力学或现实世界扰动时，其鲁棒性如何？

主要发现

• 在摆锤、小车间、双摆等基准测试中，该方法的交互时间低于所有对比方法，证明了其卓越的样本效率。
• 在7自由度机械臂任务中，该方法在全部10次试验中均成功达到目标位姿，其交互时间仅比已知动力学下的DDP方法慢2–3倍。
• 每个控制步骤的计算时间与交互时间相当，证实了其在在线学习中的实时可行性。
• 7自由度机械臂的动力学模型包含70个参数，远超基准测试（<10个参数）的复杂度，但该方法仍保持高效。
• 与先前基于MPC的乐观方法[21]相比，该方法在样本效率和计算速度方面均表现更优，实现了实时部署。
• 该方法表明，使用基于形态学的特征可显著减少对大规模数据采集的依赖，即使在高维系统中亦然。