[论文解读] Model Identification via Physics Engines for Improved Policy Search.

Shaojun Zhu, Andrew Kimmel+2 more|arXiv (Cornell University)|Oct 24, 2017

Robot Manipulation and Learning被引用 10

一句话总结

本文提出结合现成的物理引擎与黑箱贝叶斯优化，以识别机器人系统中的机械参数（如质量与摩擦系数），从而实现基于仿真的策略搜索。该方法通过构建一个‘足够好’的模型，使其与真实轨迹高度吻合，而无需额外的真实世界数据，从而提升TRPO、PoWER和PILCO等算法的策略学习性能。

ABSTRACT

This paper presents a practical approach for identifying unknown mechanical parameters, such as mass and friction models of manipulated rigid objects or actuated robotic links, in a succinct manner that aims to improve the performance of policy search algorithms. Key features of this approach are the use of off-the-shelf physics engines and the adaptation of a black-box Bayesian optimization framework for this purpose. The physics engine is used to reproduce in simulation experiments that are performed on a real robot, and the mechanical parameters of the simulated system are automatically fine-tuned so that the simulated trajectories match with the real ones. The optimized model is then used for learning a policy in simulation, before safely deploying it on the real robot. Given the well-known limitations of physics engines in modeling real-world objects, it is generally not possible to find a mechanical model that reproduces in simulation the real trajectories exactly. Moreover, there are many scenarios where a near-optimal policy can be found without having a perfect knowledge of the system. Therefore, searching for a perfect model may not be worth the computational effort in practice. The proposed approach aims then to identify a model that is good enough to approximate the value of a locally optimal policy with a certain confidence, instead of spending all the computational resources on searching for the most accurate model. Empirical evaluations, performed in simulation and on a real robotic manipulation task, show that model identification via physics engines can significantly boost the performance of policy search algorithms that are popular in robotics, such as TRPO, PoWER and PILCO, with no additional real-world data.

研究动机与目标

• 解决由于物理引擎仿真不准确导致的机器人策略学习中系统模型失准的问题。
• 通过聚焦于足以支持策略优化的模型，降低实现高保真度系统辨识的计算成本。
• 通过使用校准后的模型在仿真中训练，实现安全高效的机器人真实部署。
• 通过模型辨识提升样本高效策略搜索算法（如TRPO、PoWER和PILCO）的性能。
• 证明即使系统模型并非完美，只要仿真足够接近真实情况，即可学习到近似最优策略。

提出的方法

• 利用物理实验中获取的真实机器人轨迹作为模型校准的参考数据。
• 使用物理引擎模拟相同任务，并在不同机械参数下生成合成轨迹。
• 应用黑箱贝叶斯优化框架，调整未知参数（如质量、摩擦系数），使仿真轨迹与真实轨迹相匹配。
• 优化模型并非追求完美准确，而是确保其具备足够保真度以支持局部最优策略的学习。
• 在已校准的仿真环境中训练策略，随后部署到真实机器人上。
• 利用校准后的模型提升TRPO、PoWER和PILCO等策略搜索算法的样本效率与性能。

实验结果

研究问题

• RQ1 能否在极少真实世界数据的前提下，有效利用物理引擎识别机器人系统的机械参数？
• RQ2 与追求完美模型相比，识别一个‘足够好’的模型是否能在实践中带来更好的策略学习性能？
• RQ3 通过仿真实现的模型辨识，能在多大程度上提升TRPO和PILCO等策略搜索算法的性能？
• RQ4 在计算成本与策略性能方面，该方法与替代方案相比表现如何？
• RQ5 校准后的仿真模型能否可靠地支持真实机器人系统中的策略安全部署？

主要发现

• 所提出的模型辨识方法显著提升了TRPO、PoWER和PILCO等策略搜索算法在仿真和真实机器人操作任务中的性能。
• 该方法在无需额外真实世界数据（除初始轨迹外）的情况下，实现了更优的策略学习性能。
• 该方法成功将仿真模型校准至与真实世界动力学高度一致，即使物理引擎本身不具备完美准确性。
• 研究表明，通过远低于构建完美模型所需的计算量，即可识别出‘足够好’的模型（足以支持策略优化）。
• 校准后的仿真环境能够实现安全且高效的策略在真实机器人上的部署，降低了真实执行过程中的失败风险。
• 实验结果证实，该方法显著提升了复杂机器人操作任务中策略搜索算法的样本效率与收敛速度。