[論文レビュー] Riemannian Motion Policy Fusion through Learnable Lyapunov Function Reshaping

Mustafa Mukadam, Ching-An Cheng+3 more|arXiv (Cornell University)|Oct 7, 2019

Robot Manipulation and Learning参考文献 29被引用数 10

ひとこと要約

本稿では、RMPflowの学習可能拡張版であるRMPfusionを提案する。RMPfusionは、階層的で学習可能な重み関数を導入することで、部分的タスクのリーマン運動方針（RMP）の再形状を可能にし、ポリシー融合を強化する。適応的で設定依存のポリシー混合を可能にすることで、不完全な部分的タスクポリシーに対するロバスト性が向上し、グローバルなリャプノフ安定性を保証する。これにより、模倣学習の文脈でバックプロパゲーションを用いた安全で安定したポリシー学習が可能になる。

ABSTRACT

RMPflow is a recently proposed policy-fusion framework based on differential geometry. While RMPflow has demonstrated promising performance, it requires the user to provide sensible subtask policies as Riemannian motion policies (RMPs: a motion policy and an importance matrix function), which can be a difficult design problem in its own right. We propose RMPfusion, a variation of RMPflow, to address this issue. RMPfusion supplements RMPflow with weight functions that can hierarchically reshape the Lyapunov functions of the subtask RMPs according to the current configuration of the robot and environment. This extra flexibility can remedy imperfect subtask RMPs provided by the user, improving the combined policy's performance. These weight functions can be learned by back-propagation. Moreover, we prove that, under mild restrictions on the weight functions, RMPfusion always yields a globally Lyapunov-stable motion policy. This implies that we can treat RMPfusion as a structured policy class in policy optimization that is guaranteed to generate stable policies, even during the immature phase of learning. We demonstrate these properties of RMPfusion in imitation learning experiments both in simulation and on a real-world robot.

研究の動機と目的

• RMPflowにおける高品質で手作業で設計された部分的タスクRiemann運動方針（RMP）の必要性という課題に対処すること。これは実用性に制限をもたらす。
• 学習可能な重み関数を用いて、部分的タスクポリシーの重要度を動的かつ設定依存的に適応可能にすることで、ポリシー融合のロバスト性を向上させること。
• 重み関数に緩い制約を課した場合でも、初期学習段階でさえも、融合ポリシーのグローバルなリャプノフ安定性を保証すること。
• RMPfusionを安全保証付きの構造的ポリシー学習に適した安定なポリシークラスと見なすことにより、模倣学習および強化学習における安全な学習を可能にすること。
• 本手法の有効性を、シミュレーションおよび実世界のロボット環境で検証し、安定的かつ高パフォーマンスなポリシーの模倣を実現すること。

提案手法

• RMPfusionは、ロボットの設定状態および環境状態に基づいて、個々の部分的タスクRMPのリャプノフ関数を階層的に再形状する乗法的重み関数を導入する。
• これらの重み関数は、学習可能な関数（例：ニューラルネットワーク）としてモデル化され、ポリシー学習中にバックプロパゲーションにより最適化される。
• 融合ポリシーは、各部分的タスクのリャプノフ関数の重み付き寄与を組み合わせることで導出される。重みは、各部分的タスクの有効な重要度を調整する。
• 本手法は、重み関数が非負かつ退化していない限り、RMPfusionがグローバルなリャプノフ安定性を維持することを証明している。これにより、RMPflowの安定性保証が保たれる。
• 行動クラーニングを介したエンドツーエンド学習が可能であり、専門家のデモンストレーションを用いて重み関数の学習が監視される。
• 部分的タスクと重み関数を整理するため、RMP-tree* 構造が用いられ、モジュール的かつ解釈可能なポリシー設計を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な重み関数は、部分的タスクポリシーが不完全または最適でない場合に、RMPflowのロバスト性を向上させることができるか？
• RQ2 初期学習段階ですら、重み関数に緩い制約を課した場合に、RMPfusionはグローバルなリャプノフ安定性を維持できるか？
• RQ3 RMPfusionは、模倣学習により専門家のパフォーマンスに適合させつつ、安全性と安定性を保証して効果的に学習可能か？
• RQ4 重み関数によるリャプノフ関数の階層的再形状は、線形結合手法と比較して、ポリシーのパフォーマンスおよび安定性において優れているか？
• RQ5 設定依存の重み付けメカニズムを備えたRMPfusionは、再トレーニングなしに新しい環境やタスクに一般化可能か？

主な発見

• RMPfusionは、シミュレーションおよび実際のFrankaロボット上ですべての指標で専門家の行動を模倣する能力を効果的に学習した。
• 学習開始後1200イテレーション目には、距離誤差が著しく低下し、10秒以内に専門家のパフォーマンスに収束した。実行中には衝突が一切発生しなかった。
• 初期化時（learner-0）でもポリシーは安定しており、リャプノフ関数が単調に減少した。これは、未熟な学習段階でも安定性が保たれていることを確認した。
• テストトラジェクトリにわたり安定したパフォーマンスを示し、タイムアウトやセーフティ違反が発生しなかった。環境変動に対するロバスト性が確認された。
• ニューラルネットワークベースの重み関数により、ロボットの設定状態や障害物の配置に応じて動的かつ適応的にポリシーが調整され、一般化性能が向上した。
• 理論的な安定性保証は実際の訓練および実行においても成立しており、リャプノフ関数の単調減少が訓練全体にわたり確認された。