[論文レビュー] Go Fetch: Mobile Manipulation in Unstructured Environments

Kenneth Blomqvist, Michel Breyer+8 more|arXiv (Cornell University)|Apr 2, 2020

Robotic Path Planning Algorithms参考文献 19被引用数 12

ひとこと要約

本論文では、構造化されていない屋内環境における物体の取得を目的とした、知覚、局所化、ナビゲーション、運動計画、 grasping を統合した一貫したワークフローを備えたモバイル操作システム RoyalYumi を提示する。このシステムは、全方向走行可能な Clearpath Ridgeback モバイルベースに搭載された二本腕の ABB YuMi を用いて、障害物検出、軌道の滑らかさ、グリップ計画の頑健性に制限があるものの、モジュール間のきめ細やかな統合を実現し、自律的物体取得を成功させた。

ABSTRACT

With humankind facing new and increasingly large-scale challenges in the medical and domestic spheres, automation of the service sector carries a tremendous potential for improved efficiency, quality, and safety of operations. Mobile robotics can offer solutions with a high degree of mobility and dexterity, however these complex systems require a multitude of heterogeneous components to be carefully integrated into one consistent framework. This work presents a mobile manipulation system that combines perception, localization, navigation, motion planning and grasping skills into one common workflow for fetch and carry applications in unstructured indoor environments. The tight integration across the various modules is experimentally demonstrated on the task of finding a commonly available object in an office environment, grasping it, and delivering it to a desired drop-off location. The accompanying video is available at https://youtu.be/e89_Xg1sLnY.

研究の動機と目的

• 構造化されていない屋内環境において自律的物体取得が可能な完全に統合されたモバイル操作システムの開発。
• 知覚、局所化、ナビゲーション、運動計画、グリップといった複数の異種コンponentsを、単一の整合的なワークフローに統合する課題の解決。
• オフィスのような現実世界の非構造的環境におけるエンド・ツー・エンドのタスク実行の可能性の実証。
• 現在のモバイル操作システムにおける主な限界を特定し、今後の研究における頑健性、センシング、制御の分野を導く。

提案手法

• 全方向走行可能な Clearpath Ridgeback モバイルベースに二本腕の ABB YuMi ロボットを搭載し、複数のセンサを装備：2台の Hokuyo 2D LiDAR、Intel RealSense D435 RGB-D センサ、および視覚慣性状態推定用の Skybotix VI-Sensor。
• 局所化とマップ作成に視覚慣性オドメトリと SLAM を活用し、環境の内部表現を一貫して維持可能にした。
• YOLOv3 を用いた2次元物体検出と、簡略化された点群ステッチング手法を組み合わせた知覚パイプラインを実装し、対象物体の高密度3次元再構成を実現。
• ナビゲーションのターゲットへの移動や操作タスクなどのハイレベルアクションを調整するための階層的で行動ベースの計画フレームワークを採用。
• モバイルベースの軌道生成を行う運動計画器を採用したが、軌道最適化が行われていないため、急激な動きが生じた。
• 3次元物体再構成に基づいてグリップ候補を生成するグリップ計画器を採用したが、完全な運動学的または衝突可能性のチェックは実施していない。

実験結果

リサーチクエスチョン

• RQ1 構造化されていない環境におけるモバイル操作のため、知覚、局所化、ナビゲーション、操作をどのように一貫したワークフローに統合できるか？
• RQ2 現実世界の屋内環境で動作する際、現在のモバイル操作システムにおける主な障害モードは何か？
• RQ3 RGB-D と LiDAR データの統合は、障害物検出と経路計画の信頼性にどのように影響するか？
• RQ4 フィードバックとボディ全体制御を用いて、ヒューリスティックベースのベース位置決めとオープンループグリップ戦略をどの程度改善できるか？
• RQ5 センサ統合とベイジアンフィルタリングは、物体検出と位置推定の頑健性向上にどのような役割を果たすか？

主な発見

• 本システムは、構造化されていない屋内環境において、ターゲットオブジェクトの発見、グリップ、搬送を自律的に行うことに成功した。
• 障害物検出は脚首高さの平面に限定されており、机の上やコーナーのない脚に衝突するおそれがあるため、3次元障害物表現の完全な実装が求められる。
• 運動計画器が生成する軌道は最適化が行われていないため、急激な動きが生じており、加速度最小化による軌道平滑化により運動品質を向上できる可能性がある。
• 物体検出は、不確実性推定やトラック維持のない基本的な三角測量法に依存しており、ドリフトや誤検出に脆弱である。
• グリップ計画は運動学的可動性や衝突リスクを無視しており、実行はオープンループであるため、動的または不確実な状況での頑健性が制限されている。
• 物体の落下などの失敗に対して反応できないため、現在のステートマシンベースの実行は保守・適応が難しく、行動ツリーのようなより柔軟なフレームワークの導入が求められる。