[論文レビュー] The ACRV Picking Benchmark (APB): A Robotic Shelf Picking Benchmark to Foster Reproducible Research

Jürgen Leitner, Adam W. Tow+16 more|arXiv (Cornell University)|Sep 17, 2016

Robot Manipulation and Learning参考文献 20被引用数 5

ひとこと要約

ACRVピッキングベンチマーク（APB）は、標準的なシェルフ、42種類の一般的な家庭用物品、ステンシルによるガイド付き配置を用いて、物理的に実現可能で再現性のあるロボットシェルフピッキングベンチマークを提供する。これは、完全なロボットシステムの一貫した評価を可能にする。ベースラインシステムとしてBaxterロボットを用いた実験では、簡単な設定では75％の成功を達成するが、複雑でごみだらけの状況では失敗し、現実世界の条件下における認識と操作の課題を浮き彫りにする。

ABSTRACT

Robotic challenges like the Amazon Picking Challenge (APC) or the DARPA Challenges are an established and important way to drive scientific progress. They make research comparable on a well-defined benchmark with equal test conditions for all participants. However, such challenge events occur only occasionally, are limited to a small number of contestants, and the test conditions are very difficult to replicate after the main event. We present a new physical benchmark challenge for robotic picking: the ACRV Picking Benchmark (APB). Designed to be reproducible, it consists of a set of 42 common objects, a widely available shelf, and exact guidelines for object arrangement using stencils. A well-defined evaluation protocol enables the comparison of \emph{complete} robotic systems -- including perception and manipulation -- instead of sub-systems only. Our paper also describes and reports results achieved by an open baseline system based on a Baxter robot.

研究の動機と目的

• 主なコンテストイベント以外の環境でも一貫して再現可能な、ロボットピッキングのための再現性のある広くアクセス可能なベンチマークが不足しているという問題に対処すること。
• 認識、計画、操作を統合した完全なロボットシステムの長期的かつ体系的な評価を可能にし、個別のサブシステムにとどまらないこと。
• 物理的ベンチマークを提供することで、再現可能な研究を支援し、標準化された公開可能な部品と正確なセットアップ手順を整えること。
• 難易度を段階的に高めることで、最先端のシステムを挑戦し、今後の研究を導くスケーラブルで進化し続けるベンチマークを構築すること。
• パフォーマンス比較や改善の基準として機能する、Baxterロボットをベースにした公開済みのベースラインシステムを提供すること。

提案手法

• ベンチマークは、市販の標準的シェルフと、変形性、透明性、視覚的に類似した物品を含む42種類の多様な一般的な家庭用物品を用い、現実世界のごみとばらつきを模擬する。
• 再現性を確保するため、物体の正確な位置、方向、アライメントを定義する印刷可能なステンシルを用いて、物体の配置を標準化する。
• 難易度が段階的に上昇する4つの異なるベンチマーク設定を定義：単一物体のピッキングから、高密度で複数の物体が重なった、隠蔽状態、透明・変形性のある物体を含む複雑な状況まで。
• ランダムネスの影響を軽減し、結果の選び抜きを避けるために、各設定で3回の連続実行を要求する包括的な評価プロトコルを確立する。
• 公開済みのハードウェア拡張部品とソフトウェアを備えたBaxterロボットをベースにした完全なベースラインロボットシステムを実装し、認識パイプライン、グリップ検出、運動計画を含む。
• 成功確率、成功したピッキング数、ピッキングに要した時間の3つを指標に、複数回の実行結果を平均化して耐久性を確保する。

実験結果

リサーチクエスチョン

• RQ1 一般的な市販部品を用いて、物理的に実現可能で再現性のあるロボットピッキングベンチマークを設計し、研究室間で一貫した評価を可能にすることができるか？
• RQ2 物体の類似性、隠蔽状態、透明性、変形性といった現実世界の複雑さが増す状況下で、認識および操作システムはどの程度の性能を示すか？
• RQ3 標準化されたベンチマークが、パフォーマンス評価のばらつきをどの程度低減し、ロボット操作分野における長期的かつ再現可能な研究をどのように支援できるか？
• RQ4 制御されたが多様な環境下で、現実のごみや挑戦的な物体特性に直面した際の、現在のロボットシステムの主な失敗モードは何か？
• RQ5 公開済みのベースラインシステムは、ベンチマークの難易度が異なる状況でも、一貫したパフォーマンスを達成するのにどの程度有効か？

主な発見

• ACRVピッキングベンチマークは、ステンシルと標準化された物品セットを用いて、完全なロボットシステムの再現可能な評価を成功裏に実現した。
• ベースラインBaxterシステムは、設定1（簡単）で75.00％の成功率を達成し、3回の連続実行で12個中9個の物体を正しくピッキングした。
• 設定2（中程度の難易度）では33.33％の成功率（12個中4個）を達成し、主にごみだらけの配置における認識および計画の問題が原因であった。
• 設定3（高難易度）ではたった8.33％の成功率（12個中1個）にとどまり、黒い／反射性の高い物体によるセグメンテーションエラーと、ノイズの多い点群におけるグリップ計画の不備が原因で失敗した。
• 設定4（極度の難易度）では、全18タスクで0.00％の成功率を記録し、密な配置、透明な物体、小さな物体、複雑な形状のため、どのグリップも実行できなかった。
• これらの結果から、現実世界の課題、たとえば隠蔽状態、物体の類似性、センサーノイズに対し、優れたベースラインシステムを備えた現在のシステムでも、顕著な困難を抱えていることが示された。