[論文レビュー] Learning Feasibility to Imitate Demonstrators with Different Dynamics

Zhangjie Cao, Yilun Hao+2 more|arXiv (Cornell University)|Oct 28, 2021

Reinforcement Learning in Robotics参考文献 28被引用数 5

ひとこと要約

本論文では、異なるダイナミクスを持つドキュメンテーションから模倣学習を可能にするための実行可能性指標を提案する。実行可能性MDP（f-MDP）を定式化し、その中で最適方策を学習することで、ドキュメントに実行可能性スコアを割り当てる。この手法は、実行可能性に基づいてドキュメントを再重み付けし、有用で近似可能な軌道に注目させることで、シミュレーションおよび実世界のロボット環境において、従来手法よりも顕著に高い期待報酬と成功確率を達成する。

ABSTRACT

The goal of learning from demonstrations is to learn a policy for an agent (imitator) by mimicking the behavior in the demonstrations. Prior works on learning from demonstrations assume that the demonstrations are collected by a demonstrator that has the same dynamics as the imitator. However, in many real-world applications, this assumption is limiting -- to improve the problem of lack of data in robotics, we would like to be able to leverage demonstrations collected from agents with different dynamics. This can be challenging as the demonstrations might not even be feasible for the imitator. Our insight is that we can learn a feasibility metric that captures the likelihood of a demonstration being feasible by the imitator. We develop a feasibility MDP (f-MDP) and derive the feasibility score by learning an optimal policy in the f-MDP. Our proposed feasibility measure encourages the imitator to learn from more informative demonstrations, and disregard the far from feasible demonstrations. Our experiments on four simulated environments and on a real robot show that the policy learned with our approach achieves a higher expected return than prior works. We show the videos of the real robot arm experiments on our website (https://sites.google.com/view/learning-feasibility).

研究の動機と目的

• 模倣学習における制限、すなわちドキュメントが模倣者と同じダイナミクスを持つ必要があるという制限に対処すること。
• 自由度やボディ構造が異なるなどの異なるダイナミクスを持つエージェントから収集されたドキュメントの再利用を可能にすること。
• 模倣者を誤導する可能性のある非実行可能または有害なドキュメントを除外すること。
• 模倣者が実行可能である確率を定量化する実行可能性指標を開発すること。
• 実行可能性スコアに基づいてドキュメントを再重み付けすることで、模倣学習のパフォーマンスを向上させること。

提案手法

• 模倣者のMDPとドキュメントの軌道に基づいて、実行可能性制約をモデル化する実行可能性MDP（f-MDP）を定式化する。
• 模倣者のダイナミクスと制約を尊重しながら、ドキュメントの行動を最大限に再現する最適方策をf-MDPで学習する。
• 最適f-MDP方策の価値関数を、各ドキュメントの実行可能性スコアとして使用する。
• 実行可能性スコアに基づいて、模倣学習中にドキュメントを再重み付けし、近似可能な軌道を優先する。
• 再重み付けされたドキュメントを用いて、行動コーディングまたは逆強化学習により最終的な模倣者方策を訓練する。
• 3-DoFおよび7-DoFコントローラを搭載した実際のFranka Pandaロボットアームを用いて、シミュレーション環境および実環境でアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 異なるダイナミクスを持つエージェントからのドキュメントのうち、模倣者が実行可能なものを特定する実行可能性指標を学習できるか？
• RQ2 ドキュメントが不一致するダイナミクスから供給される場合、提案手法の実行可能性指標は模倣学習のパフォーマンスをどのように向上させるか？
• RQ3 共有ダイナミクスを仮定するか、すべてのドキュメントを同等に扱う従来手法と比較して、本手法は優れているか？
• RQ4 非実行可能または関連のない軌道の割合が異なる場合のドキュメントの組成に対し、本手法はどれほど頑健か？
• RQ5 実世界のロボット操作タスクにおいて、有害なドキュメントを効果的に除外しながら有用なドキュメントを保持できるか？

主な発見

• 本手法は、実ロボットアームタスクにおいて、ベースライン手法と比較して期待報酬（p値 = 2.432×10⁻⁷）および成功確率（p値 = 3.534×10⁻⁸）において統計的に有意な向上を達成した。
• 非実行可能ドキュメントの数が増加する環境でも、本手法は優れたパフォーマンスを維持した一方、ベースライン手法は著しく劣化した。
• 実行可能性指標は、障害物に衝突するなどの非実行可能軌道を効果的に特定・低減し、棚の上を越える有用な軌道は保持した。
• ドキュメントセットに高割合の関連のないダイナミクスが含まれても、SAILや他のベースラインを上回ったことから、ノイズや無関係なデータに対して頑健であることが示された。
• 実行可能性に重み付けされたドキュメントを用いて学習した方策は、実行可能性の差を考慮しない手法よりも高い期待報酬と成功確率を達成した。
• アブレーションスタディにより、実行可能性スコアがパフォーマンスに不可欠であることが確認され、その除去により、特に実行不可能性が高い状況で性能が劣化した。