[論文レビュー] RLBench: The Robot Learning Benchmark & Learning Environment

Stephen James, Zicong Ma+2 more|arXiv (Cornell University)|Sep 26, 2019

Robot Manipulation and Learning参考文献 53被引用数 45

ひとこと要約

RLBench は、フレンカ・パンドAアームを用いた100の独自で手作業で設計されたロボット操作タスクを特徴とする大規模かつオープンソースのベンチマークおよび学習環境であり、豊富なセンサ観測を備えています。ウェイポイントベースの運動計画により無限のデモンストレーションを提供でき、少数のサンプル学習、模倣学習、強化学習、シミュレーションから実世界への転送に関する研究を、多様で現実世界に即したタスクにおいて標準化された評価で可能にします。

ABSTRACT

We present a challenging new benchmark and learning-environment for robot learning: RLBench. The benchmark features 100 completely unique, hand-designed tasks ranging in difficulty, from simple target reaching and door opening, to longer multi-stage tasks, such as opening an oven and placing a tray in it. We provide an array of both proprioceptive observations and visual observations, which include rgb, depth, and segmentation masks from an over-the-shoulder stereo camera and an eye-in-hand monocular camera. Uniquely, each task comes with an infinite supply of demos through the use of motion planners operating on a series of waypoints given during task creation time; enabling an exciting flurry of demonstration-based learning. RLBench has been designed with scalability in mind; new tasks, along with their motion-planned demos, can be easily created and then verified by a series of tools, allowing users to submit their own tasks to the RLBench task repository. This large-scale benchmark aims to accelerate progress in a number of vision-guided manipulation research areas, including: reinforcement learning, imitation learning, multi-task learning, geometric computer vision, and in particular, few-shot learning. With the benchmark's breadth of tasks and demonstrations, we propose the first large-scale few-shot challenge in robotics. We hope that the scale and diversity of RLBench offers unparalleled research opportunities in the robot learning community and beyond.

研究の動機と目的

• 実世界のロボット操作のための標準化された大規模ベンチマークが不足している問題に対処し、従来の手法と学習ベースの手法の両方を支援すること。
• 豊富なセンサ入力を備えた多様で複雑なタスクにおいて、視覚誘導型操作の評価をスケーラブルかつ拡張可能に可能にするプラットフォームを提供すること。
• エージェントが少数のデモンストレーションから未学習のタスクに一般化できる大規模な少サンプル学習のチャレンジを可能にすること。
• シミュレーションと実世界の間の転送を促進するために、シミュレーテッド・フレンカ・パンドAロボットアームを容易に実機ハードウェアに置き換えられるようにすること。
• タスク作成と検証のためのオープンソースツールを提供することで、コミュニティ主導のベンチマーク拡張を可能にすること。

提案手法

• 単純な到達から、トレイをオーブンに置くような複数段階の手順を含む、100の手作業で設計された独自の操作タスクを設計。
• 各タスクに、プロプライオセプティブフィードバック（関節状態）、オーバースショルダーのステレオカメラとアイインハンドのモノクローラカメラからのRGB、深度、セグメンテーションマスクという複数のセンサモダリティを装備。
• タスク作成時にユーザーが定義したウェイポイントに基づく運動計画法を用いて、高品質で多様なデモンストレーションを無限に生成。
• PyRepを用いたモジュラーでオープンソースのツールチェーンを実装し、RLBenchリポジトリへの新規タスクの迅速かつ検証可能な作成・送信を可能に。
• デモンストレーションデータと、現実世界のダイナミクスをよく再現するシミュレーション環境を提供することで、多様な学習パラダイムをサポート。
• シングルラインのコード変更で、シミュレーテッド・フレンカ・パンドAロボットを実機に簡単に交換できるようにすることで、シミュレーションから実世界へのシームレスな転送を実現。

実験結果

リサーチクエスチョン

• RQ1 無限のデモンストレーションを備えた大規模かつ多様なベンチマークは、ロボット操作における少サンプル一般化性能を向上させることができるか？
• RQ2 強化学習、模倣学習、メタラーニングといった異なる学習パラダイムが、標準化された現実世界に即したベンチマーク上でどのように性能を発揮するか？
• RQ3 一貫したタスク設計と観測設計を持つ統一されたベンチマークを用いることで、シミュレーションから実世界への転送はどの程度向上できるか？
• RQ4 幅広い多様な視覚誘導型操作タスクを用いて訓練された場合、現在の手法はマルチタスク学習においてどの程度効果的か？
• RQ5 SLAMと幾何的推論は、豊富なマルチモーダル観測空間と統合された場合、タスクレベルの操作を実現するために果たす役割は何か？

主な発見

• RLBench は、多様で複雑な操作タスクの広がりをカバーする100の独自で手作業で設計されたタスクを備えた標準化され、スケーラブルなベンチマークを提供している。
• ウェイポイントベースの運動計画法の使用により、高品質で多様なデモンストレーションを無限に供給でき、模倣学習や強化学習におけるデータ不足の問題を顕著に軽減した。
• 本ベンチマークは、M個の既知のタスクで学習した後、N個の未学習のタスクに対してK個のデモンストレーションから一般化を必要とする、画期的な大規模な少サンプル学習チャレンジを可能にしている。
• RGB、深度、セグメンテーション、プロプライオセプションを含む豊富なマルチモーダル観測の統合により、視覚ベース制御、部分観測、段階的学習に関する研究が可能になった。
• オープンで拡張可能なツールチェーンにより、迅速かつコミュニティ主導のベンチマーク拡張が可能となり、一貫性と品質を保証する検証済みのタスク送信パイプラインが整った。
• RLBench は、古典的手法とディープラーニングベースの手法の直接比較を可能にし、伝統的ロボティクスとエンドツーエンド学習アプローチの間の溝を埋めることに貢献した。