[論文レビュー] OCRTOC: A Cloud-Based Competition and Benchmark for Robotic Grasping and Manipulation

Ziyuan Liu, Wei Liu+9 more|arXiv (Cornell University)|Apr 23, 2021

Robot Manipulation and Learning参考文献 30被引用数 6

ひとこと要約

OCRTOCは、同一の実機ロボットハードウェアを用いた標準化されたテーブルオーガナイゼーションタスクのリモート実行を可能にするクラウドベースのベンチマークおよびコンペティションを提供する。シミュレーションおよび現実世界の両環境で自動スコアリングにより、公平で再現可能かつ一貫した性能評価を実現する。2020年のIROSコンペティションには59チームが参加。2021年にはベースラインソリューション、新規の7軸ロボット、より現実的であるタスクの改善が予定されている。

ABSTRACT

In this paper, we propose a cloud-based benchmark for robotic grasping and manipulation, called the OCRTOC benchmark. The benchmark focuses on the object rearrangement problem, specifically table organization tasks. We provide a set of identical real robot setups and facilitate remote experiments of standardized table organization scenarios in varying difficulties. In this workflow, users upload their solutions to our remote server and their code is executed on the real robot setups and scored automatically. After each execution, the OCRTOC team resets the experimental setup manually. We also provide a simulation environment that researchers can use to develop and test their solutions. With the OCRTOC benchmark, we aim to lower the barrier of conducting reproducible research on robotic grasping and manipulation and accelerate progress in this field. Executing standardized scenarios on identical real robot setups allows us to quantify algorithm performances and achieve fair comparisons. Using this benchmark we held a competition in the 2020 International Conference on Intelligence Robots and Systems (IROS 2020). In total, 59 teams took part in this competition worldwide. We present the results and our observations of the 2020 competition, and discuss our adjustments and improvements for the upcoming OCRTOC 2021 competition. The homepage of the OCRTOC competition is www.ocrtoc.org, and the OCRTOC software package is available at https://github.com/OCRTOC/OCRTOC_software_package.

研究の動機と目的

• 標準化された実機ロボットハードウェアへのリモートアクセスを可能にすることで、ロボット操作研究への参入障壁を低減すること。
• 異なる研究チーム間でのグリッピングおよび操作アルゴリズムの評価を、公平で再現可能なものにするベンチマークを確立すること。
• 一貫したタスクとメトリクスを備えた共通の評価プラットフォームを提供することで、ロボット操作分野の進展を加速すること。
• 同一のハードウェア環境でのシミュレーションと現実世界のテストを通じて、強固でエンドツーエンドのソリューションの開発を支援すること。
• 標準化された現実世界に即したタスクを用いた年次コンペティションを通じて、コミュニティの関与を促進すること。

提案手法

• OCRTOCベンチマークは、クラウド基盤を用いて、同一の実機ロボットセット（力フィードバック付きPanda 7軸アーム）をホスティングし、テーブルオーガナイゼーションタスクのリモート実行を可能にする。
• 研究者はコードをクラウドサーバーにアップロードし、シミュレーションおよび実機ロボットハードウェアの両方で実行され、自動的にスコアリングが行われる。
• 標準化されたソフトウェアスタックが提供され、オブジェクトポーズ推定のためのセンシングモジュール、点群からのエンドツーエンドグリッピング、PDDLStreamを用いたハイレベルプランニングモジュールが含まれる。
• ベンチマークには、76シーンのラベル付き実世界データセットが含まれており、6004枚のRGB-D画像、1フレームあたり30,000個の6次元オブジェクトポーズ、33個のオブジェクトのテクスチャ付き3Dメッシュモデルが含まれる。
• システムはシミュレーションと現実世界の両方の評価をサポートしており、アルゴリズムの性能が同一かつ再現可能な条件下でテストされることを保証する。
• 2021年には、ベースラインソリューション（認識、計画、軌道生成モジュールを含む）が提供され、新参者にとっての参入障壁を低減する。

実験結果

リサーチクエスチョン

• RQ1 同一の実機ロボットハードウェアを用いたクラウドベースのベンチマークは、多様な研究チーム間で、公平で再現可能なロボット操作アルゴリズムの評価を可能にするか？
• RQ2 最先端のアルゴリズムは、オブジェクトの再配置を含む標準化された現実世界のテーブルオーガナイゼーションタスクにおいて、どの程度の性能を示すか？
• RQ3 ベースラインソリューションとラベル付きトレーニングデータの提供が、ロボット操作コンペティションにおける参加者数とパフォーマンスに与える影響は何か？
• RQ4 統合されたベンチマーキングフレームワークにおいて、シミュレーションベースの開発と現実世界での検証をどの程度効果的に統合できるか？
• RQ5 参加者数を最大化しつつも、厳格な評価基準を維持するには、コンペティションの設計をどのように最適化できるか？

主な発見

• OCRTOCベンチマークは、2020年のIROSコンペティションにおいて、5か大陸から59のチームが参加することに成功し、標準化されたロボット操作評価に対する強い国際的関心を示した。
• コンペティションから、オブジェクトの再配置は、認識、グリッピング、運動計画の統合的対応が求められる依然として挑戦的なタスクであることが明らかになった。
• ベースラインソリューションとラベル付きデータセットの提供により、事前にロボットハードウェアや大規模なデータ収集経験のないチームでも参入が可能になり、参入障壁が顕著に低下した。
• 2021年に導入された力フィードバック付き7軸Pandaロボットは、2020年の6軸構成と比較して、より現実的で制御精度の高いベンチマークを実現した。
• 2021年の月次提出形式への移行により、スケジューリング上の制約を抱えるチームの参加が促進されると予想される。
• ベンチマークの二段階評価パイプライン（シミュレーション → 現実世界実行）により、すべての提出物に対して一貫性があり、信頼性が高く、再現可能なパフォーマンス測定が保証された。