[論文レビュー] Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer

Rae Jeong, Jackie Kay+7 more|arXiv (Cornell University)|Oct 21, 2019

Reinforcement Learning in Robotics参考文献 22被引用数 16

ひとこと要約

本論文では、ロボット操作におけるシミュレーションから実世界への転送を向上させるために、強化学習を用いた状態依存の一般化力のモデル化手法を提案する。数分間の実世界データから表現力があり物理的根拠のある力の補正を学習することで、3次元位置合わせタスクで84%の成功を達成した。これはベースラインモデルを著しく上回り、複雑な6次元姿勢タスクに対しても頑健な転送を示した。

ABSTRACT

Learning robotic control policies in the real world gives rise to challenges in data efficiency, safety, and controlling the initial condition of the system. On the other hand, simulations are a useful alternative as they provide an abundant source of data without the restrictions of the real world. Unfortunately, simulations often fail to accurately model complex real-world phenomena. Traditional system identification techniques are limited in expressiveness by the analytical model parameters, and usually are not sufficient to capture such phenomena. In this paper we propose a general framework for improving the analytical model by optimizing state dependent generalized forces. State dependent generalized forces are expressive enough to model constraints in the equations of motion, while maintaining a clear physical meaning and intuition. We use reinforcement learning to efficiently optimize the mapping from states to generalized forces over a discounted infinite horizon. We show that using only minutes of real world data improves the sim-to-real control policy transfer. We demonstrate the feasibility of our approach by validating it on a nonprehensile manipulation task on the Sawyer robot.

研究の動機と目的

• シミュレーションと実世界のギャップを解消するため、実世界データを用いてシミュレーションの忠実性を向上させること。
• 解析的モデルでは捉えきれない複雑な状態依存の制約力のモデル化。
• 数分間の実世界データのみを用いて、効率的なシミュレーションから実世界への転送を可能にすること。
• 物理的解釈可能性を保ちつつ、力モデルの表現力を高める手法の開発。
• 3次元および6次元姿勢合わせのような非把握的タスクにおけるポリシー転送の向上を実証すること。

提案手法

• 本手法は、シミュレーテッドと実世界のダイナミクスの差異を補正するため、加法的で状態依存の一般化力（GFM）を導入する。
• 一般化力は、ニューラルネットワークを関数近似器として用い、割引無限ホライズン上で強化学習により訓練する。
• 強化学習の目的関数は、シミュレーテッドと実世界の状態遷移の差異を最小化するように最適化される。
• 本手法は、解析的ダイナミクスと学習された一般化力のハイブリッドモデルを用いて検証される。
• 訓練の安定化とサンプル効率の向上を図るため、カリキュラム学習戦略が適用される。
• 本手法は、エージェントの行動を変更するのではなく環境ダイナミクスを変更する点で、Ground Action Transformationを一般化する。

実験結果

リサーチクエスチョン

• RQ1 最小限の実世界データから、状態依存の一般化力を有効に学習可能であり、シミュレーションから実世界への転送を向上させることができるか？
• RQ2 一般化力の学習は、ドメインランダマイゼーションやカリキュラム学習と比較して、シミュレーションから実世界への性能にどのように寄与するか？
• RQ3 提案手法は、6次元姿勢合わせを含むさまざまな操作タスクに一般化可能か？
• RQ4 データ利用効率とポリシー性能のバランスを取るための最適な一般化力モデル数は何か？
• RQ5 複雑なダイナミクスを高表現力でモデル化しつつ、物理的解釈可能性を維持できるか？

主な発見

• 提案手法は3次元位置合わせタスクで84%の成功を達成し、元のモデル（38%）および他のベースラインを著しく上回った。
• 3つの一般化力モデルをアンサンブルに組み込むことで最良の性能が得られたが、5つのモデルでは過学習とタスクの複雑化により性能が低下した。
• 3つのGFMsを含むハイブリッドモデルは、より困難な6次元姿勢合わせタスクにおける転送性能を18%から44%まで向上させた。
• わずか数分間の実世界データでも、シミュレーションから実世界への転送性能が著しく向上することが示された。
• カリキュラム学習やランダム摂動ベースラインを上回り、ヒューリスティックなデータ拡張よりも学習された一般化力の有効性が裏付けられた。
• 一般化力モデルの数を適切に調整することが、過学習を回避し最適なポリシー性能を維持する上で極めて重要であることが示された。