[論文レビュー] Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols

Berk Çallı, Aaron Walsman+4 more|arXiv (Cornell University)|Feb 10, 2015

Robot Manipulation and Learning参考文献 47被引用数 214

ひとこと要約

本論文は、ロボット操作研究のための標準化ベンチマークであるYale-CMU-Berkeley（YCB）オブジェクトおよびモデルセットを紹介する。このセットには、多様な物理的・幾何的特性を有する85個の実世界オブジェクトが含まれ、高解像度RGBDスキャン、物理的特性、CADモデルに加え、一貫したタスクプロトコルを提供することで、計測可能な評価と比較が可能となる再現性のあるフレームワークを実現する。

ABSTRACT

In this paper we present the Yale-CMU-Berkeley (YCB) Object and Model set, intended to be used to facilitate benchmarking in robotic manipulation, prosthetic design and rehabilitation research. The objects in the set are designed to cover a wide range of aspects of the manipulation problem; it includes objects of daily life with different shapes, sizes, textures, weight and rigidity, as well as some widely used manipulation tests. The associated database provides high-resolution RGBD scans, physical properties, and geometric models of the objects for easy incorporation into manipulation and planning software platforms. In addition to describing the objects and models in the set along with how they were chosen and derived, we provide a framework and a number of example task protocols, laying out how the set can be used to quantitatively evaluate a range of manipulation approaches including planning, learning, mechanical design, control, and many others. A comprehensive literature survey on existing benchmarks and object datasets is also presented and their scope and limitations are discussed. The set will be freely distributed to research groups worldwide at a series of tutorials at robotics conferences, and will be otherwise available at a reasonable purchase cost. It is our hope that the ready availability of this set along with the ground laid in terms of protocol templates will enable the community of manipulation researchers to more easily compare approaches as well as continually evolve benchmarking tests as the field matures.

研究の動機と目的

• 多様な研究分野にわたるロボット操作システムの評価のため、標準化され、再現可能なベンチマークを確立すること。
• 操作研究における一貫性のない、広く採用されていないベンチマークの欠如に応えるために、測定可能な物理的および幾何的特性を有する実世界オブジェクトの包括的データセットを提供すること。
• 共通のタスクプロトコルと評価指標を定義することで、異なるロボット操作アプローチ間での公正な比較と進捗の追跡を可能にすること。
• 共通でアクセス可能なデータセットを通じて、ロボット計画、制御、学習、および補装設計分野の進展を支援すること。
• オープンな配布と標準化されたプロトコルを通じて、コミュニティ全体でのベンチマーク手法の採用と進化を促進すること。

提案手法

• YCBオブジェクトセットは、日常の操作タスクに関連する多様な形状、サイズ、質感、重量、剛性をカバーする85個の実世界オブジェクトから構成される。
• 各オブジェクトに対して高解像度のRGBDスキャンを取得し、シミュレーションや計画に適した正確な3次元幾何形状と表面外観データを提供する。
• 質量、重心位置、摩擦係数などの物理的特性を測定・記録し、リアルなシミュレーションと制御を可能にする。
• スキャンから得た幾何モデル（CAD）とテクスチャマップを生成し、ROS や PyRep などのロボットソフトウェアプラットフォームへの統合を可能にする。
• ピックアンドプレース、再配置、道具使用といった一般的な操作タスクのための標準化されたベンチマークプロトコルを定義し、明確な成功基準を設ける。
• 既存のベンチマークやデータセットを包括的に調査し、YCBセットおよびプロトコルの設計に必要な課題を特定した。

実験結果

リサーチクエスチョン

• RQ1 日常生活のシナリオにおける操作課題の全範囲をカバーする標準化された実世界オブジェクトセットを、どのように設計できるか？
• RQ2 操作戦略の正確なシミュレーションと評価を可能にするために、どのような物理的および幾何的特性が不可欠か？
• RQ3 異なるロボット操作アプローチ間での公正な比較を可能にするために、一貫性があり再現可能なベンチマークプロトコルをどのように定義できるか？
• RQ4 既存のロボット操作ベンチマークの限界は何か？ そして、統合されたデータセットとプロトコルフレームワークによって、それらの限界をどのように克服できるか？
• RQ5 共通のベンチマークインfraが、操作研究分野における進捗と協働をどの程度加速できるか？

主な発見

• YCBオブジェクトおよびモデルセットには、多様な物理的および幾何的特性を有する85個の実世界オブジェクトが含まれ、幅広い操作課題をカバーしている。
• 高精度なRGBDスキャンとキャリブレーション済みの物理的特性により、シミュレーションおよび実世界環境の両方で正確なシミュレーションと現実的なタスク実行が可能である。
• このデータセットとプロトコルは、ロボット工学研究分野で標準ベンチマークとして採用され、操作アルゴリズムの再現可能で比較可能な評価を促進している。
• フレームワークにより、成功確率、タスク完了時間、摂動に対するロバストネスといった複数の次元での定量的評価が可能である。
• 標準化されたプロトコルの提供により、新規研究者の参入障壁が低下し、研究機関間でのベンチマーク手法の一貫性が向上した。
• YCBセットは、国際的なロボット会議を通じて世界中に配布されており、手頃なコストで入手可能であり、コミュニティ全体での広範な採用を支援している。