[論文レビュー] Auto-conditioned Recurrent Mixture Density Networks for Learning Generalizable Robot Skills

Hejia Zhang, Eric Heiden+3 more|arXiv (Cornell University)|Sep 29, 2018

Robot Manipulation and Learning参考文献 34被引用数 6

ひとこと要約

本論文では、少数の示範から状態遷移をモデル化し、関節空間軌道を生成することで、一般化可能なロボット操作スキルを学習する自己条件付き再帰型混合密度ネットワーク（STM）を提案する。この手法により、示範よりも長い時間窓における未学習のタスクや長時間のホライズンへの一般化が高速に可能となり、手動で設計された目的関数を必要とせず、従来のプランナーよりも適応性と効率性に優れる。

ABSTRACT

Personal robots assisting humans must perform complex manipulation tasks that are typically difficult to specify in traditional motion planning pipelines, where multiple objectives must be met and the high-level context be taken into consideration. Learning from demonstration (LfD) provides a promising way to learn these kind of complex manipulation skills even from non-technical users. However, it is challenging for existing LfD methods to efficiently learn skills that can generalize to task specifications that are not covered by demonstrations. In this paper, we introduce a state transition model (STM) that generates joint-space trajectories by imitating motions from expert behavior. Given a few demonstrations, we show in real robot experiments that the learned STM can quickly generalize to unseen tasks and synthesize motions having longer time horizons than the expert trajectories. Compared to conventional motion planners, our approach enables the robot to accomplish complex behaviors from high-level instructions without laborious hand-engineering of planning objectives, while being able to adapt to changing goals during the skill execution. In conjunction with a trajectory optimizer, our STM can construct a high-quality skeleton of a trajectory that can be further improved in smoothness and precision. In combination with a learned inverse dynamics model, we additionally present results where the STM is used as a high-level planner. A video of our experiments is available at this https URL

研究の動機と目的

• 個人用ロボティクス分野において、少数の示範から複雑で一般化可能な操作スキルを学ぶ課題に対処すること。
• 目的関数の手作業による設計が煩雑な従来のモーションプランニングパイプラインの限界を克服すること。
• 示範データに存在しない未学習のタスク仕様に対してもロボットが一般化できるようにすること。
• スキル実行中に変化する目標にリアルタイムで適応できること。
• 軌道最適化および逆運動学モデルと統合可能なハイレベルプランニングフレームワークを開発すること。

提案手法

• 本手法は、少数の示範から専門家の行動を模倣することで関節空間軌道を生成する状態遷移モデル（STM）を採用する。
• STMは再帰構造と混合密度ネットワークを用い、将来の状態と行動の分布をモデル化することで、不確実性を考慮した軌道生成を可能にする。
• 自己条件付きメカニズムにより、現在のタスクコンテキストに基づいてネットワークの内部状態を動的に調整し、未学習の目標への一般化を向上させる。
• 生成された運動スケルトンの滑らかさと正確さを向上させるために、STMは軌道最適化器と組み合わせられる。
• 高レベルの計画を現実世界のロボット制御に適用可能にするために、学習された逆運動学モデルと統合される。
• オンライン適応をサポートし、再計画を再開することなく、実行中に目標を変更できる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークモデルが、少数の専門家の示範のみで未学習の操作タスクに一般化できるか？
• RQ2 モデルは示範よりも長い時間窓の軌道をどれほどうまく生成できるか？
• RQ3 従来のプランナーよりも、実行中に変化する目標への適応性がどの程度高いか？
• RQ4 STMを軌道最適化および逆運動学モデルと統合することで、最終的な運動品質はどのように向上するか？
• RQ5 STMは階層的制御フレームワークにおける効果的なハイレベルプランナーとして機能できるか？

主な発見

• STMは、示範データに存在しない未学習のタスクに対しても成功裏に一般化し、強力なゼロショット一般化能力を示した。
• モデルは専門家の示範よりも長い時間窓の関節空間軌道を生成でき、外挿的一般化を示している。
• システムは、再計画なしに実行中に変化する目標にリアルタイムで適応でき、タスクの実行性能を維持した。
• 軌道最適化器と組み合わせることで、STMは滑らかでより正確な運動を生成し、最終的な軌道品質が向上した。
• 逆運動学モデルとの統合により、STMが階層的制御アーキテクチャにおけるハイレベルプランナーとしての有効性が確認された。