[論文レビュー] Information-theoretic Model Identification and Policy Search using Physics Engines with Application to Robotic Manipulation

Shaojun Zhu, Andrew Kimmel+1 more|arXiv (Cornell University)|Mar 22, 2017

Robot Manipulation and Learning参考文献 22被引用数 7

ひとこと要約

本論文では、物理エンジンを用いて実世界の押し込みインタラクションを通じて未知の物体の慣性および摩擦パラメータを特定する、データ効率的でベイズ最適化に基づく手法を提案する。この手法により、正確な運動予測と最適ポリシー探索が可能となり、シミュレーションおよび実世界のロボット操作において、モデルフリー強化学習を上回る性能を発揮する。高速押し込みタスクにおける誤差が低く、物体の落下回数も少ない。

ABSTRACT

We consider the problem of a robot learning the mechanical properties of objects through physical interaction with the object, and introduce a practical, data-efficient approach for identifying the motion models of these objects. The proposed method utilizes a physics engine, where the robot seeks to identify the inertial and friction parameters of the object by simulating its motion under different values of the parameters and identifying those that result in a simulation which matches the observed real motions. The problem is solved in a Bayesian optimization framework. The same framework is used for both identifying the model of an object online and searching for a policy that would minimize a given cost function according to the identified model. Experimental results both in simulation and using a real robot indicate that the proposed method outperforms state-of-the-art model-free reinforcement learning approaches.

研究の動機と目的

• 未知の物体の機械的性質を物理的インタラクションを通じて学習し、手動モデリングへの依存を低減すること。
• 実世界の押し込みインタラクションと物理シミュレーションを用いて、質量や摩擦といった物体パラメータをデータ効率的に同定する手法を開発すること。
• モデル同定とポリシー探索を統合した1つのベイズ最適化フレームワーク内で行い、より高いサンプル効率を達成すること。
• 低速データで訓練されたモデルを用いて高速押し込みポリシーを最適化し、人的介入を最小限に抑えること。
• モデルパラメータの不確実性を原理的かつ一貫した方法で取り扱い、ロバストなポリシー最適化を可能にすること。

提案手法

• 本手法は、質量や摩擦などのパラメータ値を変化させたシナリオにおいて、物理エンジンを用いて物体の運動をシミュレートし、観測された実世界の押し込み軌道と一致させる。
• グリーディーエントロピー探索を用いたベイズ最適化により、シミュレートされた軌道と実世界の軌道の乖離を最小化するパラメータ空間の探索を効率的に行う。
• 同じベイズ最適化フレームワークを再利用し、同定されたモデルに基づくコスト関数を最小化することで、最適な押し込みポリシーの探索を実施する。
• 実世界の押し込みデータはランダムなアクションにより収集され、物体の状態はカメラ（RealSenseおよびBaxterのハンド内カメラ）を用いて追跡される。
• 物理エンジンから得られる既知の運動方程式を活用し、動的特性を完全に学習するのではなく、未知の物理的パラメータの同定に焦点を当てる。
• モデルパラメータの不確実性を定量化し、探索をガイドすることで、ポリシー最適化におけるロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 物理エンジンとベイズ最適化を組み合わせることで、最小限の実世界インタラクションからの機械的パラメータ同定が正確かつデータ効率的に行えるか？
• RQ2 モデル同定に用いたフレームワークが、ロボット操作のためのポリシー探索に対しても効果的に適用可能か？
• RQ3 低速押し込みデータで訓練されたモデルが、長時間にわたる物体の運動予測を要する高速押し込みタスクにどの程度一般化できるか？
• RQ4 実世界環境において、本手法とモデルフリー強化学習を比較した場合、データ効率と性能のトレードオフはどのように変化するか？
• RQ5 同定されたパラメータの不確実性をどのように活用することで、ポリシーのロバスト性を向上させ、失敗率を低下させられるか？

主な発見

• 本手法は、シミュレーションおよび実世界の両方で、モデルフリーのPoWERベースラインと比較して、高速押し込みタスクにおける最終位置誤差を顕著に低減した。
• 実世界のロールアウトにおいて、本手法はPoWERと比較して物体のテーブルからの落下回数を50%以上削減し、より高いロバスト性を示した。
• シミュレーションでは、グリーディーエントロピー探索がPoWERよりも速く収束し、反復回数も少なかった。これは、優れたサンプル効率を示している。
• 低速押し込みデータで訓練されたモデルを用いて、追加の実世界ロールアウトなしに高速ポリシー最適化が可能となり、人的介入を最小限に抑えた。
• PoWERは実世界の結果で高いばらつきを示しており、物体の頻繁な落下に起因する過剰な慎重さが原因と考えられる。一方、本手法は一貫した性能を維持した。
• 本手法は不確実性を原理的かつ一貫した方法で取り扱う能力を示し、限られたデータでも信頼性の高いポリシー最適化を可能にした。