[論文レビュー] Learning Manipulation States and Actions for Efficient Non-prehensile Rearrangement Planning

Joshua A. Haustein, Isac Arnekvist+3 more|arXiv (Cornell University)|Jan 11, 2019

Robotic Path Planning Algorithms参考文献 45被引用数 9

ひとこと要約

本論文では、強化学習と生成モデルを組み合わせることで、ロボットが体の任意の部分を使って複数の物体を同時に押し出すことを可能にする、物理ベースでサンプリング効率の高い非捕捉的リアレンジメントプランナを提案する。生成対抗ネットワーク（GAN）に基づく生成器を訓練して、実行可能な押し出しを可能にするロボット状態をサンプリングし、1ステップのポリシーを用いることで、SE(2)構成を持つロボットにおいて、最先端の手法と比較して計画時間に2倍以上の高速化を達成した。

ABSTRACT

This paper addresses non-prehensile rearrangement planning problems where a robot is tasked to rearrange objects among obstacles on a planar surface. We present an efficient planning algorithm that is designed to impose few assumptions on the robot's non-prehensile manipulation abilities and is simple to adapt to different robot embodiments. For this, we combine sampling-based motion planning with reinforcement learning and generative modeling. Our algorithm explores the composite configuration space of objects and robot as a search over robot actions, forward simulated in a physics model. This search is guided by a generative model that provides robot states from which an object can be transported towards a desired state, and a learned policy that provides corresponding robot actions. As an efficient generative model, we apply Generative Adversarial Networks. We implement and evaluate our approach for robots endowed with configuration spaces in SE(2). We demonstrate empirically the efficacy of our algorithm design choices and observe more than 2x speedup in planning time on various test scenarios compared to a state-of-the-art approach.

研究の動機と目的

• 手動で設計された操作プリミティブに依存せずに、ごみが多く散らかった環境における効率的な非捕捉的リアレンジメント計画の課題に対処すること。
• エンドエフェクタ以外の体の任意の部分を使って、ロボットが複数の物体を同時に押し出すことを可能にすること。
• 学習されたガイダンスを通じて計画時間の短縮と、異なるロボットの形状や物体タイプへの適応性の向上を図ること。
• 物体の配置スライスを用いて探索空間を構造化し、ロボットの運動と物体のリアレンジメントを分離すること。
• 制限的なロボット操作能力の仮定を避け、スケーラブルで一般化可能な計画フレームワークの開発を図ること。

提案手法

• ロボットの行動とその結果（意図しない接触や物体同士の相互作用を含む）を物理ベースの前向きシミュレーションでモデル化する。
• 物体の配置に基づいて構成空間をスライスに分割し、木の拡張に適した効率的な探索と近隣選択を可能にする。
• 生成対抗ネットワーク（GAN）を訓練して、ターゲットオブジェクトを目的の状態に押し出すことが可能なロボット状態をサンプリングする。
• 1ステップのポリシー・ネットワークを訓練して、生成された状態から押し出し行動を出力し、操作中の正確な制御を可能にする。
• これらの学習済みコンponentsをサンプリングベースの運動計画（例：RRTに類似した木の拡張）と組み合わせ、複合構成空間を探索する。
• 本手法は、SE(2)構成空間を持つロボットに対して実装・評価され、データ収集には一様なランダムサンプリングが用いられた。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチは、手動で設計された操作プリミティブに依存せずに、非捕捉的リアレンジメントタスクにおける計画時間を短縮できるか？
• RQ2 GANベースの生成器は、多様なオブジェクト配置に対して、実行可能な押し出し行動を可能にするロボット状態を効果的にサンプリングできるか？
• RQ3 学習済みポリシーを統合することで、物理ベースのリアレンジメント計画の効率性と頑健性はどの程度向上するか？
• RQ4 ロボットの運動学的特性に関する事前仮定なしに、マルチオブジェクト押し出しと複雑なオブジェクト配置を効率的に処理できるか？
• RQ5 スライスベースの探索構造は、一様なサンプリングと比較して、計画速度と解の質の両面で優れているか？

主な発見

• 提案手法は、さまざまなテストシナリオにおいて、最先端の物理ベース計画法と比較して、計画時間に2倍以上の高速化を達成した。
• GANベースの生成器は、ターゲットオブジェクトを目的の状態に押し出すことが可能なロボット状態を学習的に効果的にサンプリングできており、収束が早くなった。
• 1ステップポリシーにより、ターゲット状態への距離を短くする信頼性の高い押し出し行動が可能になったが、正確な方向制御は依然として課題である。
• スライスベースの探索構造により、ロボットの運動とオブジェクトのリアレンジメントを分離し、より良い近隣選択が可能になったため、計画の効率性が向上した。
• ポリシーと生成器を新しい物理的パラメータで再訓練できるため、異なるロボットの形状やオブジェクトタイプへの容易な適応が可能である。
• 予備実験では、移動行動に局所的衝突回避計画を追加すると性能が低下する傾向が示されたことから、複雑さと効率性のトレードオフがあることが示唆された。