[論文レビュー] Learning Multi-Stage Tasks with One Demonstration via Self-Replay

Norman Di Palo, Edward Johns|arXiv (Cornell University)|Nov 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 8

ひとこと要約

本論文では、1回の人のデモから複雑な日常的で段階的な操作タスクを学習できる自己教師型の模倣学習手法Self-Replayを提案する。アクティブな物体再配置とオープンループ再再生を通じて自律的にデータを収集することで、事前の物体知識やトレーニング中の人間の介入が不要でありながら、多様なタスクで高い成功確率を達成する。

ABSTRACT

In this work, we introduce a novel method to learn everyday-like multi-stage tasks from a single human demonstration, without requiring any prior object knowledge. Inspired by the recent Coarse-to-Fine Imitation Learning method, we model imitation learning as a learned object reaching phase followed by an open-loop replay of the demonstrator's actions. We build upon this for multi-stage tasks where, following the human demonstration, the robot can autonomously collect image data for the entire multi-stage task, by reaching the next object in the sequence and then replaying the demonstration, and then repeating in a loop for all stages of the task. We evaluate with real-world experiments on a set of everyday-like multi-stage tasks, which we show that our method can solve from a single demonstration. Videos and supplementary material can be found at https://www.robot-learning.uk/self-replay.

研究の動機と目的

• 1回の人のデモからの最小限の人的努力で、ロボットが段階的な操作タスクを学習できるようにすること。
• 複数のデモや広範な人的監視を必要とする従来の模倣学習手法の限界を克服すること。
• トレーニング中に事前の物体知識、環境工学的設計、手動リセット手順を排除すること。
• grasping, placing, cutting, stacking などの多様な現実世界タスクに一般化可能な、頑健でスケーラブルなフレームワークを開発すること。
• 新しい回復パイプラインを通じて、テスト時の視覚的ごみや外部の擾乱に対しても頑健な性能を実現すること。

提案手法

• Coarse-to-Fine Imitation Learning をインspired して、段階的タスクを粗い到達フェーズと微細な行動フェーズの交互にモデル化する。
• 1回のデモ後、学習された到達ポリシーを使用して、次のタスクステージの物体へ自律的に再配置する。
• ロボットは、オープンループモードでデモされた行動を再再生し、次のステージのための新たな経験を収集する。このプロセスを繰り返し反復的に実行する。
• データ収集効率を最大化するために、物体を能動的に選別・再配置する効率的な変種であるActive Self-Replayを導入する。
• 観察を認識し、物体への到達用のボトルネックポリシー・ネットワークを学習するために、キャリブレーション不要のウェストマウントカメラを用いる。
• 実行時にエラー回復と視覚的ごみへの耐性を実現するテスト時パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、事前の物体知識がなく、1回の人のデモからのみ、複雑な段階的タスクを学習できるか？
• RQ2 複数のデモを用いた従来の模倣学習と比較して、物体再配置と行動再再生による自己教師型データ収集は、どの程度効果的か？
• RQ3 視覚的ごみや環境的擾乱がある現実世界タスクに、どの程度一般化できるか？
• RQ4 Sample効率と成功確率の観点から、Self-ReplayはBehavioral Cloning や RIL や DDPGfD といった最先端手法と比べてどの程度優れているか？
• RQ5 アクティブデータ収集（Active Self-Replay）は、データ効率とタスク完了パフォーマンスにどのような影響を与えるか？

主な発見

• Self-Replayは、1回の人のデモのみで単一ステージタスクでは100%、4段階の積み上げタスクでは80%の成功確率を達成した。
• 一方、30回のデモを要するRelay Imitation Learning (RIL) では、4段階タスクでたった35%の成功確率にとどまり、Self-Replayは40倍～50倍の効率的優位性を示した。
• Self-Replayは、1回のデモで多段階タスクを解くことに失敗したBehavioral Cloning や DDPGfD よりも優れた性能を示した。
• テスト時の視覚的ごみに対しても、Self-Replayは高い性能を維持し、非構造的な視覚環境下でも頑健であった。
• アブレーションスタディにより、自己再再生メカニズムとアクティブデータ収集の両方が、パフォーマンス向上に顕著な寄与をしたことが確認された。
• トレーニング中は環境リセットや手動の監視が一切不要であり、1回のデモ後は完全に自律的なデータ収集が可能であった。