[論文レビュー] Integrated Exploration and Sequential Manipulation on Scene Graph with LLM-based Situated Replanning

Heqing Yang, Ziyuan Jiao+4 more|arXiv (Cornell University)|Feb 4, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

EPoGは、シーングラフ上の探索と逐次操作を、グラフベースのグローバルプランナーとLLMベースの状況適応リプランナーを結合することにより実現し、観測とLLM予測で信念グラフを更新して長期的なタスクを完遂する。

ABSTRACT

In partially known environments, robots must combine exploration to gather information with task planning for efficient execution. To address this challenge, we propose EPoG, an Exploration-based sequential manipulation Planning framework on Scene Graphs. EPoG integrates a graph-based global planner with a Large Language Model (LLM)-based situated local planner, continuously updating a belief graph using observations and LLM predictions to represent known and unknown objects. Action sequences are generated by computing graph edit operations between the goal and belief graphs, ordered by temporal dependencies and movement costs. This approach seamlessly combines exploration and sequential manipulation planning. In ablation studies across 46 realistic household scenes and 5 long-horizon daily object transportation tasks, EPoG achieved a success rate of 91.3%, reducing travel distance by 36.1% on average. Furthermore, a physical mobile manipulator successfully executed complex tasks in unknown and dynamic environments, demonstrating EPoG's potential for real-world applications.

研究の動機と目的

• 部分観測性の下で、シーングラフ表現上の探索と操作を統合して計画を行う。
• 探索を通知するためにLLMを活用し、未知の物体配置を予測し、例外のための状況適応リプランニングを提供する。
• グラフ編集とアクション列を時間的制約とともに最適化して全体の実行コストを最小化する。

提案手法

• 二階層計画: グローバルプランナーが信念グラフ上で候補のアクション列を生成する（GEDとトポロジカルソーティングを用いる）。
• LLMを用いたEstimateBeliefGraphが、タスク関連物体の可能性のある位置を予測して欠落ノードを埋める。
• GraphBasedPlannerが信念グラフとゴールグラフ間のGEDと制約付きトポロジカルソートを用いて最小コストの列を計算する。
• ローカルのLLMベースプランナーが実行時の例外を状況適応型アクション列（LLMPlanner）で処理する。
• 観測ごとに信念グラフの更新を行い、探索と操作をクローズドループで交互に行う。

実験結果

リサーチクエスチョン

• RQ1 不確実性の下で、グラフベースのシーン表現上で探索と逐次操作をどのように効果的に統合できるか。
• RQ2 LLMは探索の効率を改善し、長期的な操作タスクに対して頑健な状況適応リプランニングを提供できるか。
• RQ3 純粋なLLM主導の計画、探索優先の計画、統合EPoG計画の成功率と実行コストのトレードオフはどうなるか。
• RQ4 タスク実行中のモーションプランニングの例外（妨害、アクセス不可、衝突、不安定性）をシステムはどのように処理するか。

主な発見

• EPoGは5つの長期オブジェクト輸送タスクに対して46の家庭内シーンで91.3%の成功率を達成。
• 探索+PoGベースラインと比較して、探索ノードを約40.0%削減し、移動距離を約36.2%削減。
• 純粋なLLMプランナーは大規模なシーングラフと空間/時間のグラウンディング制限のため長期タスクで性能が劣る。
• 統合フレームワークは未知の物体状態と動的環境に対して頑健であり、実機のモバイルマニipulatorで実用性を検証。