[論文レビュー] Learning from Sparse Demonstrations

Wanxin Jin, Todd D. Murphey+3 more|arXiv (Cornell University)|Aug 5, 2020

Robotic Mechanisms and Dynamics参考文献 43被引用数 5

ひとこと要約

本稿では、希少なキーフレームのデモから目的関数とタイムワープ関数を学習する Continuous Pontryagin Differentiable Programming (Continuous PDP) を提案する。この手法により、モデル化されていない環境においてもロボットが運動計画を一般化できる。軌道の忠実度とタイムズレを、解析的勾配を用いた射影勾配降下法で同時に最適化することで、最小限のデモデータで高い性能を達成した。実験ではロボットアームと6自由度のクアッドローターで検証された。

ABSTRACT

This paper develops the method of Continuous Pontryagin Differentiable Programming (Continuous PDP), which enables a robot to learn an objective function from a few sparsely demonstrated keyframes. The keyframes, labeled with some time stamps, are the desired task-space outputs, which a robot is expected to follow sequentially. The time stamps of the keyframes can be different from the time of the robot's actual execution. The method jointly finds an objective function and a time-warping function such that the robot's resulting trajectory sequentially follows the keyframes with minimal discrepancy loss. The Continuous PDP minimizes the discrepancy loss using projected gradient descent, by efficiently solving the gradient of the robot trajectory with respect to the unknown parameters. The method is first evaluated on a simulated robot arm and then applied to a 6-DoF quadrotor to learn an objective function for motion planning in unmodeled environments. The results show the efficiency of the method, its ability to handle time misalignment between keyframes and robot execution, and the generalization of objective learning into unseen motion conditions.

研究の動機と目的

• 完全な軌道ではなく、キーフレームベースの希少なデモからロボットの運動方策を学ぶ課題に対処すること。
• 動的制約や速度差による、キーフレームのタイムスタンプと実際のロボット実行時間との間のタイムズレを克服すること。
• 学習した目的関数を、訓練データにない初期状態や運動シナリオに一般化できること。
• 逆最適制御におけるデータ複雑性を低減し、連続的な運動シーケンスではなく、少数のキーフレームのみを必要とすること。
• 連続時間で高次元のシステムにおいて、目的関数とタイムワープ関数を共同で学習する効率的で微分可能なフレームワークを開発すること。

提案手法

• 射影勾配降下法を用いて、ロボットの軌道と希少なキーフレームのデモとの間の乖離損失を最小化する学習問題を定式化する。
• キーフレームのタイムスタンプと実際のロボット実行時刻との時間的ズレを補正するためのタイムワープ関数を導入する。
• ポントレヤーギンの最大原理を用いて、目的関数およびタイムワープ関数のパラメータに関する最適軌道の解析的勾配を導出する。
• タイムワープ関数を動的モデルに統合し、調整可能なパラメータとして扱う微分可能最適制御フレームワークを採用する。
• 物理的妥当性と収束性を保証しながら、射影勾配降下法を用いて目的関数とタイムワープ関数のパラメータを同時に最適化する。
• 共役変数の二点境界値問題を導出し、バックプロパゲーションで勾配を効率的に計算するための行列リッカチ型方程式を用いる。

実験結果

リサーチクエスチョン

• RQ1 少数の希少なキーフレームのデモから、完全な軌道データがなくても一般化可能な目的関数をロボットが学習できるか？
• RQ2 デモのタイムスタンプと実際のロボット実行との間のタイムズレを、学習中に効果的にモデル化・補正できるか？
• RQ3 学習した目的関数が、デモに含まれない新しい初期状態や未確認の運動条件に対してもどの程度一般化できるか？
• RQ4 提案手法は、6自由度のクアッドローターのような高次元連続系を、最小限のデータで効率的に処理できるか？
• RQ5 目的関数とタイムワープ関数の共同最適化は、時間同期が固定された従来の逆最適制御手法に比べ、より高い軌道忠実度とロバスト性を達成できるか？

主な発見

• Continuous PDP手法は、わずかなキーフレームのデモからのみ目的関数を学習でき、シミュレーテッド7自由度ロボットアームにおいて高い軌道忠実度を達成した。
• タイムズレを効果的に処理でき、デモの速度とロボットの実現可能速度が異なる場合でも、望ましい運動を再現できた。
• 6自由度クアッドローターでは、訓練中に見られなかった初期状態に対しても一般化が確認され、学習済みの目的関数が有効な軌道を生成した。
• ロボットアームでは100イタレーション、クアッドローターでは200イタレーションで収束し、キーフレーム追跡の最終乖離損失は0.01 m未満であった。
• ポントレヤーギンの原理による解析的勾配計算により、有限差分近似の必要がなくなり、サンプル効率が向上した。
• 目的関数とタイムワープ関数の共同学習は、時間同期を固定したベースライン手法を著しく上回り、特に速度の著しい不一致がある状況で顕著な性能向上を示した。