[論文レビュー] Design and Development of an automated Robotic Pick & Stow System for an e-Commerce Warehouse

Swagat Kumar, Anima Majumder+10 more|arXiv (Cornell University)|Mar 7, 2017

Robot Manipulation and Learning参考文献 53被引用数 7

ひとこと要約

本論文は、eコマース倉庫における自動ピックアンドストウのタスクを実現する低コストでセンサが最小限のロボットシステムを提示している。本システムは、Faster R-CNNに基づく認識モジュール、独自開発の気圧式吸引グリッパー、リアルタイムの運動計画を採用しており、4,800件のトレーニングサンプルのみで90±5%の平均オブジェクト認識精度を達成し、1分間に2.5ピック／ストウを実現した。この成績により、Amazon Picking Challenge 2016で5位を獲得した。

ABSTRACT

In this paper, we provide details of a robotic system that can automate the task of picking and stowing objects from and to a rack in an e-commerce fulfillment warehouse. The system primarily comprises of four main modules: (1) Perception module responsible for recognizing query objects and localizing them in the 3-dimensional robot workspace; (2) Planning module generates necessary paths that the robot end- effector has to take for reaching the objects in the rack or in the tote; (3) Calibration module that defines the physical workspace for the robot visible through the on-board vision system; and (4) Gripping and suction system for picking and stowing different kinds of objects. The perception module uses a faster region-based Convolutional Neural Network (R-CNN) to recognize objects. We designed a novel two finger gripper that incorporates pneumatic valve based suction effect to enhance its ability to pick different kinds of objects. The system was developed by IITK-TCS team for participation in the Amazon Picking Challenge 2016 event. The team secured a fifth place in the stowing task in the event. The purpose of this article is to share our experiences with students and practicing engineers and enable them to build similar systems. The overall efficacy of the system is demonstrated through several simulation as well as real-world experiments with actual robots.

研究の動機と目的

• eコマース倉庫における自動オブジェクトピッキングおよびストーリングを実現する低コストでセンサ依存が最小限のロボットシステムの開発。
• インfraストラクチャの最小限の変更で、非構造的倉庫環境においてもリアルタイムで自律運用可能なシステムの実現。
• 限られたアノテート済みデータでトレーニング可能な、高精度で効率的なディープラーニングモデルを用いた認識精度の向上。
• 柔ららかく変形しやすい素材を含む多様なオブジェクト形状に対応可能な汎用性の高いグリッパーの設計。
• Amazon Picking Challenge 2016への参加を通じて、システムの実用性を実証すること。

提案手法

• 3次元ワークスペースにおけるリアルタイムのオブジェクト検出および局所化を実現するため、VGG-16およびZFバックボーンを搭載したFaster R-CNNモデルを採用。
• 検出精度を維持したままトレーニングに必要なサンプル数を削減するためのハイブリッドデータ拡張戦略を実装。
• 気圧バルブ制御による吸引機能を備えた2本指グリッパーを設計し、さまざまなオブジェクトタイプへのグリップ信頼性を向上。
• 深度およびRGBデータを用いた認識パイプラインを構築し、表面の法線および曲率を計算することで、頑健なオブジェクトセグメンテーションを実現。
• 検出されたオブジェクトの姿勢とグリッパーの制約に基づき、衝突のない経路を生成する運動計画モジュールを統合。
• 環境センサを用いずに、ロボットの物理的ワークスペースとビジョンシステムの座標フレームを一致させるためのキャリブレーションモジュールを採用。

実験結果

リサーチクエスチョン

• RQ1 限られたトレーニングデータと低い計算コストで、ロボットシステムが高精度なオブジェクト認識を達成できるか。
• RQ2 非構造的倉庫環境において、多様な形状・サイズ・素材のオブジェクトを扱えるようにグリッパー設計を最適化する方法は何か。
• RQ3 実世界のロボットピッキングおよびストーリングにおいて、センサの最小化とシステム性能のトレードオフはどのように影響するか。
• RQ4 標準のGPUハードウェア上で、軽量な認識および計画スタックがリアルタイム性能を達成できるか。
• RQ5 検出の信頼性を維持したまま、データアノテーションの負荷を軽減できるようにディープラーニングモデルをどのように適合できるか。

主な発見

• 本システムは、4,800件のトレーニングサンプルのみで90±5%の平均オブジェクト認識精度を達成し、他のチームと比較して著しく少ないサンプル数で実現した。
• VGG-16バックボーンを搭載したFaster R-CNNモデルは、実世界のテストにおいて29種類のオブジェクトクラスで平均精度85.6%を達成した。
• 気圧式吸引を備えた独自開発の2本指グリッパーは、29種類のオブジェクトのうち24種類（柔ららかく不規則な形状のものも含む）に対して信頼性のあるグリッピングを実現した。
• 通常状態下で1分間に2.5ピックまたはストウを実行でき、リアルタイム運用の可能性を実証した。
• ハイブリッドデータ拡張法により、標準的な拡張法と比較してトレーニングに必要なサンプル数を40%削減したが、検出精度に悪影響を及げなかった。
• キャリブレーションおよび認識パイプラインにより、照明条件や遮蔽状況の変化があっても、複数回の試行において一貫したビジュアル・モーター連携が実現した。