[論文レビュー] EKMP: Generalized Imitation Learning with Adaptation, Nonlinear Hard Constraints and Obstacle Avoidance

Yanlong Huang|arXiv (Cornell University)|Feb 28, 2021

Robot Manipulation and Learning参考文献 23被引用数 4

ひとこと要約

本稿では、拡張型カーネル化されたモーショントレース（EKMP）を提案する。これは、ロボットが示範から学習しながら、新たな目的に適応し、リンクレベルの衝突検出を用いて障害物を避けるとともに、線形および非線形のハード制約を厳密に満たす一般化された模倣学習フレームワークである。7自由度のロボットアームを用いた実験で、高速収束性と制約遵守性が効果的に示された。

ABSTRACT

As a user-friendly and straightforward solution for robot trajectory generation, imitation learning has been viewed as a vital direction in the context of robot skill learning. In contrast to unconstrained imitation learning which ignores possible internal and external constraints arising from environments and robot kinematics/dynamics, recent works on constrained imitation learning allow for transferring human skills to unstructured scenarios, further enlarging the application domain of imitation learning. While various constraints have been studied, e.g., joint limits, obstacle avoidance and plane constraints, the problem of nonlinear hard constraints has not been well-addressed. In this paper, we propose extended kernelized movement primitives (EKMP) to cope with most of the key problems in imitation learning, including nonlinear hard constraints. Specifically, EKMP is capable of learning the probabilistic features of multiple demonstrations, adapting the learned skills towards arbitrary desired points in terms of joint position and velocity, avoiding obstacles at the level of robot links, as well as satisfying arbitrary linear and nonlinear, equality and inequality hard constraints. Besides, the connections between EKMP and state-of-the-art motion planning approaches are discussed. Several evaluations including the planning of joint trajectories for a 7-DoF robotic arm are provided to verify the effectiveness of our framework.

研究の動機と目的

• 非線形ハード制約、障害物回避、関節速度の一貫性の観点から、制約付き模倣学習におけるギャップを埋めるため。
• カーネル化されたモーショントレース（KMP）を、任意の目的関節位置および速度への適応を可能にするように拡張するため。
• エンドエフェクタの位置だけでなく、ロボットリンクレベルでの障害物回避を統合するため。
• 軌道最適化中に任意の線形および非線形等式および不等式制約を満たすため。
• 最小限の人的介入で高速かつ制約遵守の軌道計画を可能にするため。

提案手法

• EKMPは、関節位置および速度の確率的特徴を抽出するために、ガウス・ミックスチャネル・モデル（GMM）を用いて複数の示範をモデル化する。
• GMMのパラメータから参照軌道を導出するために、ガウス・ミックスチャネル回帰（GMR）を採用する。
• 模倣学習、障害物回避、ハード制約ペナルティを組み合わせたコスト関数を用いて、制約付き最適化フレームワークを構築する。
• 最適化において、位置と速度の微分関係をカーネルベースの正則化項によって強制する。
• 非線形制約はペナルティに基づく定式化とバリア関数を用いて処理され、等式および不等式制約の両方が組み込まれる。
• 計算負荷を軽減するため、制約を特定のキーポイントにのみ適用しながら、逐次二次計画法（SQP）を用いて最適化を反復的に解く。

実験結果

リサーチクエスチョン

• RQ1 一般化された模倣学習フレームワークは、非線形ハード制約を満たしつつ、軌道の滑らかさと速度の一貫性を維持できるか？
• RQ2 追加の示範なしに、EKMPは学習済みスキルを新しいゴール状態に適応できるか？
• RQ3 EKMPは、通常のKMPに比べて、障害物回避および制約遵守においてどの程度優れているか？
• RQ4 カーテシアン座標系の制約（例：エンドエフェクタの高さ制限）を統合することで、衝突のない関節軌道の計画がどの程度加速されるか？
• RQ5 関節制限やリンクレベルの衝突といった実世界のロボット制約下でも、このフレームワークはどの程度の性能を示すか？

主な発見

• EKMPは、軌道最適化において高速収束を達成し、障害物回避コストが著しく減少した。7自由度のロボットアームでは、10回未満の反復で実証された。
• 目的位置制約およびエンドエフェクタの高さ制約（z ≥ 0.4 m）の両方を満たす場合、9反復目で全制約が満たされた。200点の長い軌道に対しても同様に成立した。
• 目的位置制約のみの条件下では3反復で障害物回避が達成され、エンドエフェクタの高さ制約を追加すると1反復で達成された。
• 軌道プロットにより、最適化全体を通して関節位置と速度の微分関係が厳密に保持されていることが確認された。
• 通常のKMPは障害物を回避できなかったが、EKMPが生成した軌道は、評価されたすべてのシナリオで衝突を回避した。
• カーテシアン座標系の制約統合により収束が顕著に加速した。これは、高レベルの制約が効率的な関節軌道計画を導く可能性を示している。