[論文レビュー] Articulated Object Interaction in Unknown Scenes with Whole-Body Mobile Manipulation

Mayank Mittal, David Hoeller+3 more|arXiv (Cornell University)|Mar 18, 2021

Robotic Path Planning Algorithms被引用数 11

ひとこと要約

本論文は、未知で動的な環境における大型アーティキュレーテッドオブジェクトのモバイルマニピュレーションのための2段階計画フレームワークを提案する。オブジェクト中心の計画者によりRGB-Dデータからマニピュレーション行動を生成し、エージェント中心のモデル予測制御（MPC）計画者により安全で動的なボディ全体の運動実行を保証する。シミュレーションでは、IKベースの手法と比較して134%高い成功率と26.5%速い実行時間を達成しており、脚付きモバイルマニピュレータを用いた実世界での妥当性検証も行われた。

ABSTRACT

A kitchen assistant needs to operate human-scale objects, such as cabinets and ovens, in unmapped environments with dynamic obstacles. Autonomous interactions in such environments require integrating dexterous manipulation and fluid mobility. While mobile manipulators in different form factors provide an extended workspace, their real-world adoption has been limited. Executing a high-level task for general objects requires a perceptual understanding of the object as well as adaptive whole-body control among dynamic obstacles. In this paper, we propose a two-stage architecture for autonomous interaction with large articulated objects in unknown environments. The first stage, object-centric planner, only focuses on the object to provide an action-conditional sequence of states for manipulation using RGB-D data. The second stage, agent-centric planner, formulates the whole-body motion control as an optimal control problem that ensures safe tracking of the generated plan, even in scenes with moving obstacles. We show that the proposed pipeline can handle complex static and dynamic kitchen settings for both wheel-based and legged mobile manipulators. Compared to other agent-centric planners, our proposed planner achieves a higher success rate and a lower execution time. We also perform hardware tests on a legged mobile manipulator to interact with various articulated objects in a kitchen. For additional material, please check: www.pair.toronto.edu/articulated-mm/.

研究の動機と目的

• 構造的でない、未知の環境にあり、動的な障害物を伴う大型でアーティキュレーテッドな家庭用オブジェクト（例：キャビネット、オーブン）との自律的相互作用を可能にすること。
• 物理的制約やシーンの不確実性の下でも、機敏なマニピュレーションとモバイルベース制御をリアルタイムで統合する課題に対処すること。
• 安全で実行可能かつ効率的なオブジェクト中心マニピュレーション計画の実行を保証するエージェント中心の計画者を開発すること。
• 全身のモバイルマニピュレーションにおける、サンプリングベース、IKベース、MPCベースのエージェント中心計画者をベンチマーク・比較すること。
• ホイールベースおよび脚付きモバイルマニピュレータを用いた、高精細シミュレーションおよび実世界のハードウェア実験の両方でシステムを検証すること。

提案手法

• オブジェクト中心の計画者は、RGB-Dセンシングを用いてオブジェクトの運動学的特性とインタラクションポイントに焦点を当て、行動条件付きのマニピュレーションシーケンスを生成する。
• エージェント中心の計画者は、タスクの目的と制約違反を組み合わせたマーリット関数を用いたモデル予測制御（MPC）を用いて、全身の運動制御を制約付き最適制御問題として定式化する。
• MPC計画者は、オンラインで更新される環境符号付き距離関数（ESDF）とグローバルに一貫性のある占有マップを用いて、リアルタイムでの衝突回避を実現する。
• FIESTAが、ロボット中心のSDFと環境の一貫性を維持するために適応され、運動中における反応性のある障害物回避を可能にした。
• 統一された全身ダイナミクスモデルを用いてベースとアームの運動を統合し、運動学的整合性と関節制限への準拠を保証する。
• 逐次二次計画法（SQP）に基づくマーリット関数が、環境コストと身体的コストを組み合わせて複数の候補となるインタラクション計画を評価・選択する。

実験結果

リサーチクエスチョン

• RQ1 動的な障害物を伴う未知の環境において、モバイルマニピュレータはどのように安全かつ効率的にオブジェクト中心のマニピュレーション計画を実行できるか？
• RQ2 MPCベース、IKベース、サンプリングベースのエージェント中心計画者には、アーティキュレーテッドオブジェクトとのインタラクションにおいてどのような相対的利点があるか？
• RQ3 反応性のあるMPCベースのエージェント中心計画者は、動的な障害物を伴う複雑でごみだらけのキッチンシーンを処理でき、高い成功率と短い実行時間の両方を維持できるか？
• RQ4 エージェント中心計画者は、安全で実行可能であるかどうかに基づいて、複数の候補となるインタラクションオプション（例：異なるグリップ位置）の間で意思決定をどのように行うか？
• RQ5 提案された2段階フレームワークは、脚付きシステムを含む、さまざまなモバイルマニピュレータプラットフォームにどの程度一般化可能か？

主な発見

• MPCベースのエージェント中心計画者は、アーティキュレーテッドキッチンオブジェクトのシミュレーションマニピュレーションにおいて、IKベースの計画者と比較して134%高い成功率を達成した。
• MPCベースのアプローチは、IKベースの手法と比較して実行時間を26.5%短縮し、効率性の向上を示した。
• 脚付きモバイルマニピュレータを用いたハードウェア実験により、動的なキッチン環境において引き出しやオーブンなど多様なアーティキュレーテッドオブジェクトとの実世界での相互作用が成功裏に実現された。
• 反応性のあるMPC計画者は、必要に応じてベースの運動を調整し、アームの使用を増やすことで動的障害物を効果的に回避した。障害物が移動すると、安全な構成に後退した。
• エージェント中心計画者のマーリット関数は、障害物に近い計画に対して高い衝突回避ペナルティを課し、より安全な選択肢を優先するのに成功した。
• 本システムは、オブジェクトの幾何形状、配置、シーンのごみの多さの変動に対しても頑健に耐えられ、実世界の非構造的環境への適応性が確認された。