[論文レビュー] Learning Object-Centric Spatial Reasoning for Sequential Manipulation in Cluttered Environments

Chrisantus Eze, Ryan C Julian+1 more|arXiv (Cornell University)|Mar 3, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

Unveilerは空間推論を行動実行からデカップリングし、混雑したシーンで遮蔽されたターゲットを効率的に取得。軽量な transformer ベースの Spatial Relationship Encoder と 回転不変の Action Decoder を用いて高い成功率を達成。

ABSTRACT

Robotic manipulation in cluttered environments presents a critical challenge for automation. Recent large-scale, end-to-end models demonstrate impressive capabilities but often lack the data efficiency and modularity required for retrieving objects in dense clutter. In this work, we argue for a paradigm of specialized, decoupled systems and present Unveiler, a framework that explicitly separates high-level spatial reasoning from low-level action execution. Unveiler's core is a lightweight, transformer-based Spatial Relationship Encoder (SRE) that sequentially identifies the most critical obstacle for removal. This discrete decision is then passed to a rotation-invariant Action Decoder for execution. We demonstrate that this decoupled architecture is not only more computationally efficient in terms of parameter count and inference time, but also significantly outperforms both classic end-to-end policies and modern, large-model-based baselines in retrieving targets from dense clutter. The SRE is trained in two stages: imitation learning from heuristic demonstrations provides sample-efficient initialization, after which PPO fine-tuning enables the policy to discover removal strategies that surpass the heuristic in dense clutter. Our results, achieving up to 97.6\% success in partially occluded and 90.0\% in fully occluded scenarios in simulation, make a case for the power of specialized, object-centric reasoning in complex manipulation tasks. Additionally, we demonstrate that the SRE's spatial reasoning transfers zero-shot to real scenes, and validate the full system on a physical robot requiring only geometric workspace calibration; no learned components are retrained.

研究の動機と目的

• dense clutter におけるモジュラーでデータ効率の高い操作の必要性を動機づける。
• 高レベルの空間推論と低レベルの行動実行を分離するデカップリングアーキテクチャを提案する。
• Robustな push-grasp 実行のための軽量な Spatial Relationship Encoder (SRE) と Dedicated Action Decoder を導入する。
• シミュレーションでの模倣学習と PPO 微調整によるサンプル効率の良い訓練を示し、現実世界転移をゼロショットで達成する。

提案手法

• 空間関係エンコーダ(SRE)と実行用アクションデコーダの2成分アーキテクチャを導入。
• シーン画像、ターゲットクロップ、オブジェクトクロップを入力とし、離散的な削除インデックスを出力する transformer ベースの SRE を使用。
• 回転不変の Action Decoder を用い、複数方向（16 個の離散角度）にわたる push-grasp アクションを生成。
• SRE を2段階で訓練：ヒューリスティックなデモンストレーションからの模倣学習、次に dense clutter でのヒューリスティックを超えるよう PPO 微調整。
• 全訓練を PyBullet のシミュレーションデモンストレーションで実施；現実ロボットへの適用時には学習 component の再訓練なしで実行；高さマップを用いて一貫したロボット中心の参照を提供。

Figure 1: Unveiling occluded targets through strategic obstacle removal. Given a cluttered scene with objects of similar shapes and colors, our approach identifies which obstacles must be removed and in what order to access the target object (blue object), solving the spatial reasoning challenge bef

実験結果

リサーチクエスチョン

• RQ1 デカップリングされた物体中心の空間推論モジュールは、モノリシックなエンドツーエンド方策と比較して混雑した操作タスクの効率と成功率を向上させるか。
• RQ2 transformer ベースの Spatial Relationship Encoder は遮蔽と混雑下での障害除去シーケンスをどの程度学習できるか。
• RQ3 模倣学習で初期化した後の RL 微調整は、密集した混雑下でヒューリスティック方針を超える性能を得られるか。
• RQ4 SRE の空間推論は retraining なしに現実の場面へどの程度転用できるか。

主な発見

Clutter Density	Occlusion	GPT-4o Task Completion (%)	GPT-4o Steps	CLIP-Grounding Task Completion (%)	CLIP-Grounding Steps	VILG Task Completion (%)	VILG Steps	ThinkGrasp Task Completion (%)	ThinkGrasp Steps	ACT Task Completion (%)	ACT Steps	PPG Task Completion (%)	PPG Steps	Heur Task Completion (%)	Heur Steps	Unveiler Task Completion (%)	Unveiler Steps
2–6	Partial	86.0	1.50	80.5	1.67	75.0	3.0	73.3	3.00	45.2	1.14	40.6	4.42	87.3	2.35	96.1	1.32
2–6	Full	66.7	2.50	60.3	2.11	50.0	2.86	53.3	2.25	40.0	1.00	50.3	4.27	67.5	2.30	89.3	1.87
6–9	Partial	80.0	1.81	67.2	3.10	80.0	3.17	66.7	3.29	40.0	1.00	7.5	6.00	67.5	2.55	97.6	1.43
6–9	Full	60.0	4.22	66.7	4.20	40.0	3.33	60.0	3.78	10.0	1.00	4.4	3.00	47.8	3.43	90.0	3.31
9–12	Partial	66.7	3.10	53.0	4.38	46.7	2.86	46.7	3.42	25.7	1.00	4.4	4.00	50.0	3.40	92.6	2.86
9–12	Full	26.7	3.00	20.0	4.67	33.3	3.4	33.3	3.56	-	-	-	-	20.0	3.17	53.8	3.71

• Unveiler は部分的遮蔽で最大 97.6%、完全遮蔽で 90.0% の成功率をシミュレート環境で達成。
• デカップリングした SRE+Action Decoder アーキテクチャは、混雑度に応じてモノリシックなベースラインより 15-40% 高い成功率を実現。
• SRE の2段階訓練（IL→PPO）は、dense・完全遮蔽シーンにおいてヒューリスティックを上回る。
• 現実世界転移は SRE にとってゼロショット：現実場の物体選択精度は、現実のより密なシーンで CLIP-Grounding や GPT-4o よりも高く、54% vs 37% および 26%。
• Unveiler は様々な条件下で、ベースラインよりはるかに少ない計画ステップ（平均 1.17–3.71）を必要とする。
• アブレーションにより SRE を除去したり、全ての障害物を同時に解くと性能が低下することが示され、逐次的・物体中心的推論の重要性が強調された。

Figure 2: Unveiler system architecture. Independent training of the SRE and Action Decoder enables each component to specialize in its respective task while sharing a discrete object index at inference. The SRE processes scene and object-centric visual inputs through a transformer to select the opti