[論文レビュー] Robot Playing Kendama with Model-Based and Model-Free Reinforcement Learning

Shidi Li|arXiv (Cornell University)|Mar 15, 2020

Reinforcement Learning in Robotics参考文献 17被引用数 4

ひとこと要約

本論文は、Kendama などの不連続なダイナミクスを示すタスクにおける高精度ロボット軌道学習を目的として、モデルベース（DDP）とモデルフリーフレームワーク（PoWER）を組み合わせたハイブリッド強化学習フレームワークを提案する。まず、DDPを用いて人間の模倣軌道を最適化し、その後PoWERで精錬することで、高スピーどで困難な操作タスクにおいてもタスクの成功を達成する。

ABSTRACT

Several model-based and model-free methods have been proposed for the robot trajectory learning task. Both approaches have their benefits and drawbacks. They can usually complement each other. Many research works are trying to integrate some model-based and model-free methods into one algorithm and perform well in simulators or quasi-static robot tasks. Difficulties still exist when algorithms are used in particular trajectory learning tasks. In this paper, we propose a robot trajectory learning framework for precise tasks with discontinuous dynamics and high speed. The trajectories learned from the human demonstration are optimized by DDP and PoWER successively. The framework is tested on the Kendama manipulation task, which can also be difficult for humans to achieve. The results show that our approach can plan the trajectories to successfully complete the task.

研究の動機と目的

• 不連続なダイナミクスを示すタスクにおいて、高精度で高速なロボット軌道を学習する課題に対処すること。
• モデルベースとモデルフリーの強化学習を統合することで、サンプル効率とロバスト性を向上させること。
• 人間ですら困難とされる複雑なKendama操作タスクにおいて、成功した軌道学習を可能にすること。
• DDPとPoWERの両方を用いて反復的精錬を行うことで、人間の模倣デモを最適化すること。

提案手法

• 人間のデモ軌道を、微分動的プログラミング（DDP）を用いたモデルベース最適化の初期方策として使用する。
• DDPで最適化された軌道は、その後、モデルフリーのPoWERアルゴリズムを用いて精錬され、ロバスト性と一般化性能が向上する。
• フレームワークは、モデルベースの軌道最適化とモデルフリーのポリシー改善を交互に実行することで、精度と適応性のバランスを図る。
• 本手法は、高スピーどで不連続なダイナミクスを示すタスクとしてKendamaタスクで評価される。
• DDPは学習済みのダイナミクスモデルを活用することで、滑らかで最適な軌道を保証する。
• PoWERはオフポリシーのデータ収集とポリシー勾配更新を通じて、性能を向上させ、高動的状況下での成功を実現する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースとモデルフリーの強化学習をハイブリッドに統合したフレームワークは、不連続なダイナミクスを示すタスクにおいて、高精度なロボット軌道を学習できるか？
• RQ2 DDPとPoWERを組み合わせることで、単独で使用する場合と比較して、複雑な操作タスクにおける性能がどのように向上するか？
• RQ3 人間の模倣デモは、Kendamaタスクでの成功を達成するために、どの程度最適化・精錬可能か？
• RQ4 モデルベースの計画とモデルフリーの微調整の統合は、高スピーどで動的な操作においてロバスト性を向上させるか？
• RQ5 このフレームワークは、人間ですら困難とされるタスクへも一般化可能か？

主な発見

• 提案されたフレームワークは、ロボットがKendama操作タスクを成功裏に完了できる軌道を計画することに成功した。
• DDPは、初期の人の模倣軌道を滑らかで高精度なパスに効果的に最適化した。
• PoWERはポリシーのロバスト性と一般化性能を向上させ、高スピーどで不連続なダイナミクスの状況下でも成功した実行を可能にした。
• DDPとPoWERの統合は、単独で使用する場合よりも優れた性能をもたらした。
• 本フレームワークは、高動的複雑性を示す困難な現実世界のロボット操作タスクにおいて、実用性と有効性を示した。