[論文レビュー] Hierarchical Planning for Long-Horizon Manipulation with Geometric and Symbolic Scene Graphs

Yifeng Zhu, Jonathan Tremblay+2 more|arXiv (Cornell University)|Dec 14, 2020

Multimodal Machine Learning Applications参考文献 38被引用数 13

ひとこと要約

本論文は、幾何的（6-DoFオブジェクトポーズ）および記号的（意味的関係）の二段階のシーングラフを用いた視覚的根拠付け付き階層的計画フレームワークを提案する。このフレームワークは、グラフニューラルネットワーク（GNN）を用いて処理され、神経記号的タスク計画とグラフベースの運動生成を可能にする。実世界のタスクにおいて、70.6%の成功率と89.6%のサブゴール達成率を達成し、探索ベースのプランナーよりも4桁速い推論速度を実現した。

ABSTRACT

We present a visually grounded hierarchical planning algorithm for long-horizon manipulation tasks. Our algorithm offers a joint framework of neuro-symbolic task planning and low-level motion generation conditioned on the specified goal. At the core of our approach is a two-level scene graph representation, namely geometric scene graph and symbolic scene graph. This hierarchical representation serves as a structured, object-centric abstraction of manipulation scenes. Our model uses graph neural networks to process these scene graphs for predicting high-level task plans and low-level motions. We demonstrate that our method scales to long-horizon tasks and generalizes well to novel task goals. We validate our method in a kitchen storage task in both physical simulation and the real world. Our experiments show that our method achieved over 70% success rate and nearly 90% of subgoal completion rate on the real robot while being four orders of magnitude faster in computation time compared to standard search-based task-and-motion planner.

研究の動機と目的

• 高次元の行動空間と組み合わせの複雑さを有する現実世界環境における長時間スパンの操作計画の課題に対処すること。
• 手動で指定された記号的ルールと高コストな探索手順に依存する従来のタスク・アンド・モーション計画（TAMP）の限界を克服すること。
• 広範な再トレーニングや事前定義されたドメイン知識を必要とせずに、新しい長時間スパンのタスクに一般化できること。
• 視覚的認識、記号的推論、運動生成を統合した、構造化されたシーン表現を用いたエンド・ツー・エンドで学習可能な統合フレームワークを実現すること。

提案手法

• 本手法は二段階のシーングラフ表現を採用する：幾何的シーングラフはオブジェクトの6-DoFポーズと空間的関係を符号化し、記号的シーングラフはエンティティ間の意味的関係を捉える。
• 神経ネットワーク、特にグラフニューラルネットワーク（GNN）を用いて、両方のシーングラフレベルを処理し、ハイレベルなタスク計画とローレベルの運動生成を実現する。
• ハイレベルなタスク計画では、神経記号的回帰プランナが最終的なゴールから次のサブゴールを予測し、高コストな探索手順を回避する。
• ローレベルの運動生成では、GNNを用いて幾何的シーングラフに根拠付けられた状態から直接、運動パラメータ（例：関節角、エンドエフェクタ軌道）を予測する。
• フレームワークは短いデモ軌道でトレーニングされ、長時間で未観測のタスクに対してもゼロショット一般化を可能にする。
• RGB画像からのポーズ推定により、リアルタイムでのシーングラフ構築が可能となり、現実世界での実装における視覚的根拠付けを支援する。

実験結果

リサーチクエスチョン

• RQ1 二段階のシーングラフに基づく階層的計画フレームワークは、学習分布外の長時間スパンの操作タスクに一般化可能か？
• RQ2 GNNベースの神経記号的プランナは、従来の探索ベースのプランナと比較して、推論速度と成功確率の面で優れているか？
• RQ3 グラフベースの運動生成は、再トレーニングなしに新しいオブジェクト配置にどの程度一般化可能か？
• RQ4 GNNに組み込まれた関係的インダクティブバイアスは、計画および運動予測性能にどのような影響を与えるか？
• RQ5 実世界での実装において、実行失敗と過剰実行失敗は性能にどのように影響を与えるか？

主な発見

• 提案手法は、2〜6個のオブジェクトを含むタスクにおいて、実世界実験で70.6%の成功率と89.6%のサブゴール達成率を達成した。
• 真値ポーズを用いたシミュレーションでは、2オブジェクトタスクで92%の成功率、6オブジェクトタスクで67%の成功率を達成し、ランダムサンプリングやMLPベースラインを上回った。
• 神経記号的プランナは、PDDLStream探索ベースのプランナーよりも4桁速く、6オブジェクトタスクの計画時間は約400秒から0.32秒に短縮された。
• グラフベースの運動生成は、ランダムサンプリングおよび全結合ネットワーク（MLP）を上回り、GNNは関係的インダクティブバイアスのおかげで優れた一般化性能を示した。
• 実行失敗率はタスクの複雑さに応じて上昇し（2オブジェクトで7%、6オブジェクトで33%）、一方過剰実行失敗率は全タスクで1%未満で安定していた。
• 本手法は強力なゼロショット一般化を示し、トレーニングデモを上回る長時間のタスクを正常に処理できた。