[论文解读] Information-theoretic Model Identification and Policy Search using Physics Engines with Application to Robotic Manipulation

Shaojun Zhu, Andrew Kimmel+1 more|arXiv (Cornell University)|Mar 22, 2017

Robot Manipulation and Learning参考文献 22被引用 7

一句话总结

该论文提出了一种数据高效、基于贝叶斯优化的方法，利用物理引擎通过真实世界中的推动物理交互，识别未知物体的惯性和摩擦参数，从而实现精确的运动预测和最优策略搜索。该方法在仿真和真实机器人操作中均优于模型无关的强化学习，在高速推动物料任务中表现出更低的误差和更少的物体掉落。

ABSTRACT

We consider the problem of a robot learning the mechanical properties of objects through physical interaction with the object, and introduce a practical, data-efficient approach for identifying the motion models of these objects. The proposed method utilizes a physics engine, where the robot seeks to identify the inertial and friction parameters of the object by simulating its motion under different values of the parameters and identifying those that result in a simulation which matches the observed real motions. The problem is solved in a Bayesian optimization framework. The same framework is used for both identifying the model of an object online and searching for a policy that would minimize a given cost function according to the identified model. Experimental results both in simulation and using a real robot indicate that the proposed method outperforms state-of-the-art model-free reinforcement learning approaches.

研究动机与目标

• 通过物理交互使机器人能够学习未知物体的机械特性，减少对人工建模的依赖。
• 开发一种数据高效的方法，利用真实世界中的推动物理交互识别物体参数（质量、摩擦系数）。
• 在单一贝叶斯优化框架中统一模型识别与策略搜索，以提升样本效率。
• 利用基于低速数据训练的模型实现高速推动物料策略，最大限度减少人工干预。
• 以合理方式处理模型参数的不确定性，支持鲁棒的策略优化。

提出的方法

• 该方法使用物理引擎模拟在不同参数值（质量与摩擦系数）下物体的运动，以匹配观测到的真实世界推动物理轨迹。
• 采用带贪婪熵搜索的贝叶斯优化方法高效搜索参数空间，最小化模拟轨迹与真实轨迹之间的差异。
• 相同的贝叶斯优化框架被重用于搜索最优推动力策略，通过最小化基于已识别模型的代价函数实现。
• 通过随机动作收集真实世界推动物理数据，使用摄像头（Baxter 机器人的 RealSense 相机与机载相机）跟踪物体状态以进行模型识别。
• 该方法利用物理引擎中已知的运动方程，仅聚焦于识别未知物理参数，而非从零开始学习动力学。
• 量化模型参数的不确定性，并用于引导探索，从而提升策略优化的鲁棒性。

实验结果

研究问题

• RQ1 结合物理引擎与贝叶斯优化是否能够实现从最少真实世界交互中准确且高效地识别物体机械参数？
• RQ2 用于模型识别的同一框架是否也可有效应用于机器人操作的策略搜索？
• RQ3 基于低速推动物理数据训练的模型在需要长时间运动预测的高速推动物理任务中泛化性能如何？
• RQ4 在真实世界设置中，与模型无关的强化学习相比，该方法在数据效率与性能之间的权衡如何？
• RQ5 如何利用识别参数中的不确定性来提升策略鲁棒性并降低故障率？

主要发现

• 在仿真和真实世界实验中，与模型无关的 PoWER 基线相比，该方法在高速推动物理任务中实现了显著更低的最终位置误差。
• 在真实世界试错中，该方法相比 PoWER 将物体从桌上掉落的次数减少了 50%以上，表明其鲁棒性更强。
• 在仿真中，贪婪熵搜索的收敛速度比 PoWER 更快，且迭代次数更少，证明了其优越的样本效率。
• 基于低速推动物理数据训练的模型成功实现了高速策略优化，无需额外的真实世界试错，最大限度减少了人工干预。
• PoWER 在真实世界结果中表现出更高的方差，可能由于频繁的物体掉落导致策略过于保守；而该方法保持了稳定的性能表现。
• 该方法展示了以合理方式处理不确定性的能力，实现了在有限数据下的可靠策略优化。