[論文レビュー] A Framework for Data-Driven Robotics

Serkan Cabi, Sergio Gómez Colmenarejo+14 more|arXiv (Cornell University)|Sep 26, 2019

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本論文は、大規模な記録済みロボット経験と人間によるアノテート済みデモを活用して、タスク固有の報酬関数を学習するデータ駆動型ロボティクスフレームワークを提案する。これにより、多様な操作タスクにおけるオフラインバッチ強化学習が可能になる。このアプローチは、直接の報酬信号を一切用いずに、デモデータと報酬学習のみで、剛体物体の積み上げや布の取り扱いといった複雑なタスクの実世界ポリシーを成功裏に訓練する。

ABSTRACT

We present a framework for data-driven robotics that makes use of a large dataset of recorded robot experience and scales to several tasks using learned reward functions. We show how to apply this framework to accomplish three different object manipulation tasks on a real robot platform. Given demonstrations of a task together with task-agnostic recorded experience, we use a special form of human annotation as supervision to learn a reward function, which enables us to deal with real-world tasks where the reward signal cannot be acquired directly. Learned rewards are used in combination with a large dataset of experience from different tasks to learn a robot policy offline using batch RL. We show that using our approach it is possible to train agents to perform a variety of challenging manipulation tasks including stacking rigid objects and handling cloth.

研究の動機と目的

• 現実世界のロボット操作タスクにおいて、直接の報酬信号を取得する課題に対処すること。
• 一括の統一データセットを用いて、複数の操作タスクにわたるゼロショット転送を可能にすること。
• 直接の報酬ラベル付けではなく、人間によるアノテート済みデモから報酬関数を学習する手法を開発すること。
• 積み上げや変形性素材（布など）の操作といった、複雑で現実世界のタスクへのデータ駆動型学習のスケーリングを図ること。

提案手法

• 本フレームワークは、タスク固有のデモとタスクに依存しない軌道を含む、多数のタスクからの記録済みロボット経験の大規模データセットを用いる。
• 人間のアノテーターがデモにタスク関連の属性をラベル付けし、それらが報酬関数の学習を監視するために使用される。
• 人間によるアノテート信号を用いて学習された報酬関数が、直接の報酬信号が存在しない状況でも報酬構造を推定可能にする。
• 報酬関数は、多様な経験の大量データセットと組み合わせられ、オフラインバッチ強化学習を用いてロボットポリシーを訓練する。
• 共有表現と報酬一般化を活用することで、タスク間でのゼロショットポリシー転送が可能になる。
• 本手法は、積み上げや布の取り扱いを含む3つの異なる操作タスクについて、実ロボットプラットフォームで評価されている。

実験結果

リサーチクエスチョン

• RQ1 現実世界のロボティクスにおいて、直接の報酬信号が存在しない状況でも、人間によるアノテート済みデモから報酬関数を効果的に学習できるか？
• RQ2 一括の統一データセットとしての多様なロボット経験が、複数の操作タスクにおけるポリシー学習をどの程度効果的にサポートできるか？
• RQ3 学習された報酬関数が、複雑な操作タスクにおけるゼロショットポリシー転送をどの程度可能にするか？
• RQ4 データ駆動型フレームワークを用いたバッチ強化学習は、積み上げや布の操作といった挑戦的な現実世界タスクにおいて、頑健な性能を達成できるか？

主な発見

• 本フレームワークは、記録済み経験と人間によるアノテート済みデモのみを用いて、剛体物体の積み上げと布の取り扱いという3つの異なる操作タスクのロボットポリシーを成功裏に訓練した。
• 直接の報酬信号が存在しない状況でも、学習された報酬関数が効果的なポリシー学習を可能にした。これは、間接的監視の有効性を示している。
• 本手法は、タスク間でのゼロショットポリシー転送を可能にした。これは、共有表現と報酬関数の強力な一般化能力を示している。
• 実世界のハードウェア上でも、本手法は頑健な性能を達成した。これは、人間によるアノテートによる監視を伴うデータ駆動型学習が、複雑な操作タスクに有効であることを示している。
• 本フレームワークは、一括のデータセットを用いて複数のタスクにスケーリング可能であり、タスク固有のデータ収集や報酬設計の必要性を低減した。
• 結果として、直接のオンライン相互作用を必要としない、学習済み報酬を用いたオフラインバッチRLが、挑戦的な現実世界の操作タスクを効果的に解決できることを示した。