[論文レビュー] Knowledge-Enabled Robotic Agents for Shelf Replenishment in Cluttered Retail Environments

Jan Winkler, Ferenc Bálint-Benczédi+6 more|arXiv (Cornell University)|May 13, 2016

Advanced Manufacturing and Logistics Optimization被引用数 9

ひとこと要約

本論文は、ごみくずが多く散らかった小売環境における自律的棚補充を実現する知識駆動型ロボットフレームワークを提示する。視認、知識に基づく推論、操作を統合することで、隠蔽、積み重ねられた物体、曖昧な空間的指示に対処する。本システムはPR2ロボット上で物体の再配置を計画・実行し、複雑なごみくずと動的状態を伴う現実世界およびシミュレーテッドシナリオにおいても、頑健な性能を発揮した。

ABSTRACT

Autonomous robots in unstructured and dynamically changing retail environments have to master complex perception, knowledgeprocessing, and manipulation tasks. To enable them to act competently, we propose a framework based on three core components: (o) a knowledge-enabled perception system, capable of combining diverse information sources to cope with occlusions and stacked objects with a variety of textures and shapes, (o) knowledge processing methods produce strategies for tidying up supermarket racks, and (o) the necessary manipulation skills in confined spaces to arrange objects in semi-accessible rack shelves. We demonstrate our framework in an simulated environment as well as on a real shopping rack using a PR2 robot. Typical supermarket products are detected and rearranged in the retail rack, tidying up what was found to be misplaced items.

研究の動機と目的

• 構造的でない、動的変化の激しい小売環境において、重度の隠蔽とごみくずが生じる状況での自律的棚補充の課題に対処すること。
• ロボットエージェントが定性的な空間的記述と暗黙的な操作行動を用いて、物体の配置を推論できることを実現すること。
• 物体の位置や向きに関する事前知識がなくても、頑健な視認と操作を実現するシステムを開発すること。
• 知識に基づく推論と操作計画を統合し、現実世界の小売シナリオにおいて目的指向の行動を達成すること。

提案手法

• 背景知識を活用した視認システムが、マルチモーダルセンサデータを統合し、隠蔽下や繰り返しのテクスチャーや形状を持つ物体の検出と局所化を実現する。
• 知識処理手法が、定性的な空間的推論と意味的理解を用いて、物体の関係を推定し、再配置戦略を生成する。
• 新規のプランナが、類似したアイテムをグループ化し、暗黙的な二次的行動を用いて隠蔽を処理するアクションシーケンスを生成する。
• 衝突回避に配慮した慎重な運動計画を用いて、狭い空間内での操作スキルを実行し、周囲の物体を揺るがさない。
• グリッドセルタイルイングアプローチを用いて、ターゲット構成に基づき製品グループのための空間を割り当てる。
• 実世界評価は、現実的な物体配置と攪乱を再現するシミュレーテッド小売ラックを用いたPR2ロボットで実施された。

実験結果

リサーチクエスチョン

• RQ1 事前位置や向きの事前知識がなくとも、重度のごみくずと隠蔽が生じる小売環境において、ロボットエージェントが物体の配置をどのように視認し、推論できるか。
• RQ2 曖昧な空間的指示下で、棚の整理のための実行可能な操作戦略を生成するために、どのような知識に基づく推論技術が必要か。
• RQ3 明示的な再把持や事前計画なしに、暗黙的な二次的行動を通じて、ロボットが物体の隠蔽をどのように自律的に解消できるか。
• RQ4 意味的理解と空間的推論は、動的変化の激しい小売シナリオにおける操作タスクの頑健性と成功確率にどのような影響を与えるか。
• RQ5 視認、推論、操作の統合は、現実世界での長期的かつ信頼性の高い運用をどのように可能にするか。

主な発見

• 本システムは、シミュレーテッドおよび現実世界の両環境で、一般的なスーパーマーケット製品の検出と再配置に成功した。特に、重度の隠蔽や積み重ねられた物体が存在する状況でも同様に有効であった。
• 実ロボット実験では、物体の再配置タスクが1.9～124.4秒で完了し、平均アクションシーケンスコストは複雑さに応じて17.2～32.4の範囲であった。
• 本フレームワークは、複数の遮蔽物、不規則な形状の物体、積み重ねられたアイテムに対しても頑健に動作し、テスト条件下でコアな視認や計画に障害が発生しなかった。
• 定性的な空間的推論の活用により、ロボットは隠蔽された物体の位置を推定し、それらにアクセスするための効果的な二次的行動を計画できた。
• 物体が積み重ねられたり、類似したテクスチャを持つ場合でも、本システムは標準的な視認のみのアプローチを上回る性能を発揮した。
• 知識に基づく推論の統合により、特に複雑で動的変化の激しいシナリオにおいて、計画の効率性と成功確率が顕著に向上した。