[論文レビュー] REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning

Brian Yang, Jesse Zhang+3 more|arXiv (Cornell University)|May 17, 2019

Robot Manipulation and Learning参考文献 34被引用数 21

ひとこと要約

REPLAB は、商用ロボットアームとRGBDカメラを組み合わせた低コストで再現性のあるロボットワークセルプラットフォーム（2,000ドル）であり、視覚ベースのロボット操作におけるベンチマークの標準化を目的としている。研究機関間で一貫した grasping および強化学習アルゴリズムの評価を可能にし、25エポック以内で3次元到達性能が1cm未塔を達成するなど、92,000件のグリップデータセットのためのベースラインを確立した。

ABSTRACT

Standardized evaluation measures have aided in the progress of machine learning approaches in disciplines such as computer vision and machine translation. In this paper, we make the case that robotic learning would also benefit from benchmarking, and present the "REPLAB" platform for benchmarking vision-based manipulation tasks. REPLAB is a reproducible and self-contained hardware stack (robot arm, camera, and workspace) that costs about 2000 USD, occupies a cuboid of size 70x40x60 cm, and permits full assembly within a few hours. Through this low-cost, compact design, REPLAB aims to drive wide participation by lowering the barrier to entry into robotics and to enable easy scaling to many robots. We envision REPLAB as a framework for reproducible research across manipulation tasks, and as a step in this direction, we define a template for a grasping benchmark consisting of a task definition, evaluation protocol, performance measures, and a dataset of 92k grasp attempts. We implement, evaluate, and analyze several previously proposed grasping approaches to establish baselines for this benchmark. Finally, we also implement and evaluate a deep reinforcement learning approach for 3D reaching tasks on our REPLAB platform. Project page with assembly instructions, code, and videos: https://goo.gl/5F9dP4.

研究の動機と目的

• ロボット学習への参入障壁を下げるために、標準化され、低コストで容易に再現可能なハードウェアプラットフォームを提供すること。
• 多様な研究機関間で視覚ベースの操作タスク、特にグリップタスクの再現可能なベンチマーク評価を可能にすること。
• モジュラーで自己完結型の設計により、ロボット学習アルゴリズムのスケーラブルかつ並列化されたトレーニングを支援すること。
• さまざまな照明条件や背景条件下でのコミュニティ主導のデータ収集とモデルの一般化を促進すること。
• ロボット学習における共有ソフトウェア実装、事前学習モデル、標準化された評価プロトコルの基盤を構築すること。

提案手法

• 低コストの商用ロボットアーム（WidowX）とRGBDカメラを用いて、コンパクトで自己完結型のロボットワークセル（70x40x60 cm）の設計および製造。
• 完全な再現性を確保するための標準化された組立手順、コード、およびデータ収集パイプラインの開発。
• グリップタスクのためのベンチマークテンプレートの作成、タスク定義、評価プロトコル、性能指標、および92,000件のグリップ試行データセットの収集。
• REPLABプラットフォーム上で複数の既存グリップ手法（例：pinto2016、DQNベース）を実装・評価し、性能ベースラインを確立。
• TD3強化学習アルゴリズムを3次元到達タスクに適用し、REPLABハードウェア上で完全にトレーニングおよび評価を実施。
• モデルの一般化とデータ効率を評価するためのデータアブレーションスタディおよびカリキュラムベースのデータ収集戦略の設計。

実験結果

リサーチクエスチョン

• RQ1 低コストで標準化されたロボットプラットフォームは、複数の研究機関間で視覚ベースの操作アルゴリズムの一貫性と再現性のあるベンチマーク評価を可能にするか？
• RQ2 限られたハードウェア変動を持つ実世界の低コストロボットプラットフォーム上で、既存のグリップアルゴリズムはどの程度の性能を示すか？
• RQ3 低コストでスケーラブルなロボットワークセル上で、強化学習アルゴリズムが高精度制御（例：1cm未塔の到達）をどの程度達成できるか？
• RQ4 データセットのサイズと多様性は、未知の物体や条件下での学習ベースのグリップモデルの一般化性能にどのように影響するか？
• RQ5 このプラットフォームは、複数の同一セルを用いた強化学習アルゴリズムのスケーラブルかつ並列化されたトレーニングをサポートできるか？

主な発見

• REPLABプラットフォームは、TD3強化学習アルゴリズムを用いて25エポック（約24時間）のトレーニングで3次元到達性能が1cm未塔に達した。これはRL研究における実用性を示している。
• pinto2016などの既存グリップ手法は、1対象あたり40回以上の試行を要し、一般化性能とサンプル効率の向上の余地が大きいことを示した。
• データアブレーションスタディの結果、80,000件のトレーニンググリップで、見たことがあるオブジェクトに対するモデル精度が約65％で飽和し、この規模を超えると利得が減少することが判明した。
• 92,000件のグリップデータセットにより、ベースライン性能評価が可能となり、80,000件のトレーニングサンプルを用いたホールドアウトされた見たことがあるオブジェクトでの検証精度は64.8％に達した。
• 事前学習済みグリップモデルは、異なる照明条件や背景を持つ新しいREPLABセルに適応させるために、約4,000件の新しいトレーニングサンプル（1.5日分）が必要であり、より多様な訓練データの必要性を浮き彫りにした。
• このプラットフォームは、スケーラブルかつ並列化されたトレーニングをサポートしており、共有コード、データ収集スクリプト、標準化された評価プロトコルを通じてコミュニティ貢献を促進できる。