[論文レビュー] Planning with Spatial-Temporal Abstraction from Point Clouds for Deformable Object Manipulation

Xingyu Lin, Carl Qi+6 more|arXiv (Cornell University)|Oct 27, 2022

Robotic Path Planning Algorithms被引用数 9

ひとこと要約

本論文では、3次元点群を用いた長時間スケールの変形物体操作のための空間的・時間的抽象化を統合する計画フレームワークPASTAを提案する。点群を潜在的集合表現に符号化し、この抽象化された空間でスキルのシーケンスを計画する。カット、プッシュ、生地をまっすぐ押すといった複雑なマルチツールタスクにおいて現実世界での成功を達成し、平坦な表現を上回り、シミュレーションから現実への転送において人間の性能に匹敵する。

ABSTRACT

Effective planning of long-horizon deformable object manipulation requires suitable abstractions at both the spatial and temporal levels. Previous methods typically either focus on short-horizon tasks or make strong assumptions that full-state information is available, which prevents their use on deformable objects. In this paper, we propose PlAnning with Spatial-Temporal Abstraction (PASTA), which incorporates both spatial abstraction (reasoning about objects and their relations to each other) and temporal abstraction (reasoning over skills instead of low-level actions). Our framework maps high-dimension 3D observations such as point clouds into a set of latent vectors and plans over skill sequences on top of the latent set representation. We show that our method can effectively perform challenging sequential deformable object manipulation tasks in the real world, which require combining multiple tool-use skills such as cutting with a knife, pushing with a pusher, and spreading the dough with a roller.

研究の動機と目的

• 完全な状態情報が入手できない長時間スケールでマルチツールの変形物体操作を扱う課題に対処すること。
• 物体の部品や関係性に関する空間的抽象化（部分的推論）と、低レベルのアクションではなくスキルのシーケンスを計画する時間的抽象化（スキルの計画）を統合すること。
• 訓練時に観測したエンティティ数やシーケンス長よりも多い新規のタスクに一般化できること。
• ヒューリスティック制御則を用いてシミュレーションから現実世界の環境へ効果的に転送可能な計画者を開発すること。

提案手法

• フレームワークは3次元観測値を潜在的ベクトルの集合にマップする点群エンコーダを使用し、構成的3次元集合表現を形成する。
• 非教師あり手法を用いて点群の点を動的にクラスタリングし、各クラスタを変分自己オートエンコーダを介して潜在的ベクトルに埋め込む。
• 学習済み予測器を用いて妥当性とコストを評価するように、微分可能計画者を用いて潜在空間でスキルのシーケンスを計画する。
• 妥当性とコスト予測器は、ハードネガティブマイニングを伴う対照学習により訓練され、計画の正確性が向上する。
• 計画者は勾配ベース最適化を用いて潜在空間内のスキルシーケンスと補助ゴールを最適化する。
• システムはシミュレーションで訓練され、ポリシーの微調整なしにヒューリスティック制御則を用いて現実世界に転送される。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的抽象化を統合したフレームワークは、長時間スケールの変形物体操作のための効果的計画を可能にするか？
• RQ2 3次元集合表現による空間的抽象化は、平坦な3次元表現と比較して一般化性能や性能をどのように向上させるか？
• RQ3 シミュレーションで訓練された計画者がヒューリスティック制御則を用いて現実世界の実行にどの程度一般化できるか？
• RQ4 ハードネガティブマイニングや勾配ベース計画といった重要な構成要素が、全体の成功確率に与える影響は何か？

主な発見

• PASTAはシミュレーションにおけるCutRearrangeタスクで83.7％の成功率を達成し、平坦な3次元表現を用いたベースラインを顕著に上回った。
• 現実世界の実験では、PASTAはCutRearrangeタスクで人間の性能（0.910の正規化改善度）に匹敵し、同じタスクでFlat3Dベースライン（0.351）を上回った。
• アブレーションスタディの結果、ハードネガティブマイニングを除去すると成功率が半減し、妥当性予測器の訓練においてその重要性が明確になった。
• 勾配降下法を用いない、またはサンプリングを行わない計画者では性能が著しく低下し、最適化において両者の重要性が確認された。
• PASTAはシミュレーションで6スキルのシーケンス（CRS-Twice）を正常に実行し、現実世界でも79.5％の正規化改善度を達成した。これは、より長時間スケールのタスクへの一般化を示している。
• フレームワークは、ポリシーの適応なしに、計画者とヒューリスティック制御則のみを用いて、複雑なマルチツールタスクにおけるシミュレーションから現実への転送を実現した。