[論文レビュー] Learning Periodic Tasks from Human Demonstrations

Jingyun Yang, Ruoyu Zhang+4 more|arXiv (Cornell University)|Sep 28, 2021

Robot Manipulation and Learning被引用数 4

ひとこと要約

本稿では、マーカーやアノテーションなしで、1つの人間のビデオデモから周期的ロボット操作スキルを学習するViPTLという手法を提案する。リズミカルなDMP、自己教師付きキーポoinトacking、ベイズ最適化を活用することで、50回のロボット試行内で、変形性および粒状物質を含むタスク（拭き掃除、巻き取り、かき混ぜるなど）において高い模倣性能を達成した。

ABSTRACT

We develop a method for learning periodic tasks from visual demonstrations. The core idea is to leverage periodicity in the policy structure to model periodic aspects of the tasks. We use active learning to optimize parameters of rhythmic dynamic movement primitives (rDMPs) and propose an objective to maximize the similarity between the motion of objects manipulated by the robot and the desired motion in human video demonstrations. We consider tasks with deformable objects and granular matter whose states are challenging to represent and track: wiping surfaces with a cloth, winding cables/wires, and stirring granular matter with a spoon. Our method does not require tracking markers or manual annotations. The initial training data consists of 10-minute videos of random unpaired interactions with objects by the robot and human. We use these for unsupervised learning of a keypoint model to get task-agnostic visual correspondences. Then, we use Bayesian optimization to optimize rDMPs from a single human video demonstration within few robot trials. We present simulation and hardware experiments to validate our approach.

研究の動機と目的

• 構造のない人間のビデオデモから、サンプル効率の良い周期的操作タスクの学習を可能にすること。
• 手動アノテーションやマーカーなしで、変形性および粒状物質の状態を表現・追跡する課題に対処すること。
• 人間のデモにおける周期性を活用して、長時間にわたる繰り返しタスクの学習の複雑さを低減すること。
• 非剛体材料を含む多様な周期的タスクに一般化可能な、知覚と最適化のフレームワークを開発すること。
• 最小限の人的介入と少ないロボット試行回数で、高い模倣性能を達成すること

提案手法

• 周期的運動をシフトパラメータを用いて時間的適応を可能にする、リズミカルな動的移動原理（rDMP）を用いて周期的運動をモデル化する。
• タスクに依存しないロボットの遊びデータから自己教師付きキーポイント検出を用い、人間とロボットの運動間の視覚的対応関係を確立する。
• 人間のデモを単一周期の成分に分割するため、周期性推定を適用してrDMPの学習に用いる。
• キーポイント間の距離に基づく類似度目的関数を用いて、rDMPパラメータをベイズ最適化（BO）で最適化する。
• ロボットの遊びデータから「想像された」軌道を生成し、BOのためのウォームスタート候補を提供することで、サンプル効率を向上させる。
• ロボット実行と人間デモフレーム間のキーポイントベースの距離メトリックを用いて、運動類似度を計算する

Figure 1 : Examples of everyday periodic tasks. Our robot learns to imitate wiping, stirring and winding from human video demonstrations (top row).

実験結果

リサーチクエスチョン

• RQ1 ロボットは、1つの構造のない人間のビデオデモから、変形性および粒状物質を含む複雑な周期的操作タスクを学習できるか？
• RQ2 教師なしキーポイントモデルは、真値アノテーションなしで運動類似度計算を可能にするか？
• RQ3 ポリシー構造における周期性の活用が、模倣学習におけるサンプル効率をどの程度向上させるか？
• RQ4 キーポイントベースのスコアリングを用いたベイズ最適化は、モデルフリーまたはダイナミクスベースのベースラインを上回る性能を示せるか？
• RQ5 現実世界の確率的ダイナミクス下でも、拭き掃除、巻き取り、かき混ぜるといった多様なタスクに、この手法はどの程度一般化できるか？

主な発見

• ViPTLは、1つの人間のビデオデモとたった50回のロボット試行で、テーブル拭き掃除、ロープ巻き取り、食品かき混ぜるタスクを成功裏に学習した。
• 3つのタスクすべてにおいて、直接模倣やモデルベースの模倣学習ベースラインを上回り、特に変形性および粒状物質の操作において顕著な優位性を示した。
• キーポイントベースのコスト関数は、分類器ベースのメトリックに比べて顕著に性能を向上させたが、後者はすべてのタスクで限界のある正確性を示した。
• 想像された軌道によるウォームスタートを用いたベイズ最適化により、高得点のrDMPパラメータへの収束が迅速に達成され、試行回数を重ねるごとに一貫した改善が得られた。
• 実世界の実験では、ViPTLは不確実性の増加に対しても強い性能を維持したが、直接模倣ベースラインは現実世界のダイナミクスに敏感であったため、性能が劣った。
• アブレーションスタディにより、知覚（キーポイントモデル）と最適化（ウォームスタート付きBO）の両モジュールが、高い性能を発揮するために不可欠であることが確認された。

Figure 2 : Overview of the proposed approach. Our method is composed of two modules: the unsupervised visual representation module and the parameter optimization module. The unsupervised module learns a model for keypoint correspondences between the motions of the objects in the human demonstration