[論文レビュー] PARSE: Part-Aware Relational Spatial Modeling

Yinuo Bai, Peijun Xu+6 more|arXiv (Cornell University)|Mar 8, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

PARSE は部品中心の表現（PAG）とソルバーを導入し、部品間の関係をモデリングすることで物理的に妥当な3D室内シーンを構築します。さらに、空間推論と3D生成を改善するための密な部品レベルの注釈を備えた PARSE-10K を公開します。

ABSTRACT

Inter-object relations underpin spatial intelligence, yet existing representations -- linguistic prepositions or object-level scene graphs -- are too coarse to specify which regions actually support, contain, or contact one another, leading to ambiguous and physically inconsistent layouts. To address these ambiguities, a part-level formulation is needed; therefore, we introduce PARSE, a framework that explicitly models how object parts interact to determine feasible and spatially grounded scene configurations. PARSE centers on the Part-centric Assembly Graph (PAG), which encodes geometric relations between specific object parts, and a Part-Aware Spatial Configuration Solver that converts these relations into geometric constraints to assemble collision-free, physically valid scenes. Using PARSE, we build PARSE-10K, a dataset of 10,000 3D indoor scenes constructed from real-image layout priors and a curated part-annotated shape database, each with dense contact structures and a part-level contact graph. With this structured, spatially grounded supervision, fine-tuning Qwen3-VL on PARSE-10K yields stronger object-level layout reasoning and more accurate part-level relation understanding; furthermore, leveraging PAGs as structural priors in 3D generation models leads to scenes with substantially improved physical realism and structural complexity. Together, these results show that PARSE significantly advances geometry-grounded spatial reasoning and supports the generation of physically consistent 3D scenes.

研究の動機と目的

• 物理的に一貫した3Dレイアウトを保証するため、オブジェクトレベルの関係を超えたより細粒度の空間推論フレームワークを動機づける。
• 部品間の幾何学的関係をエンコードする Part-centric Assembly Graph（PAG）を開発し、シーンの組み立てを支援する。
• 部品レベルの関係を幾何学的制約へと変換して衝突のないシーンを組み立てるソルバーを作成する。
• 学習と評価を支援するための部品セグメント資産と密な部品レベルの接触グラフを備えた大規模データセット PARSE-10K を構築する。
• PAGs と PARSE-10K が VLM ベースの空間推論と3Dシーン生成を改善することを示す。

提案手法

• オブジェクトノードと部品ノードを Part-Level Geometric Edges および Object-Level Edges でつなぐ2段階の PAG を定義する。
• 部品/表面の注釈を持つ方向性前置詞（on, in, against）として部品間関係を定式化する。
• 部品認識に基づく Part-Aware Spatial Configuration Solver を開発し、PAG を組み立て順に走査して粗〜細の幾何制約を適用して衝突のないポーズをサンプルする。
• サポート表面上の2D粗 Localization を用い、続いて部品レベルの整列制約を適用し、その後サンプリングと衝突検査を行う。
• 最終シーンを短い物理シミュレーション（Sapien）で洗練し、部品レベルの接触グラフを生成する。
• 現実の画像レイアウト事前情報を入手し、132カテゴリの部品注釈資産ライブラリを組み立て、密な部品レベル接触を持つ10,000個の室内シーンをレンダリングして PARSE-10K を構築する。

実験結果

リサーチクエスチョン

• RQ1 部品レベルの関係は空間推論をどの程度改善し、3Dシーンレイアウトのあいまいさを減らせるか？
• RQ2 部品中心グラフ（PAG）はポーズ生成を効率的に制約し、物理的に妥当なシーンを生み出せるか？
• RQ3 細粒度の部品レベル監視は VLMベースの空間理解とシーン生成品質を向上させるか？
• RQ4 PAG priors は生成される3D室内シーンの現実味と複雑さにどんな影響を与えるか？

主な発見

Model	Visual Relation Recall	Part-level Contact Recall	Scene Graph Generation (WithBBox/NoBBox)	Scene Graph Generation (Recall/Precision/F1)	Avg. Relations
GPT-5	82.1	75.2	13.7/40.9	13.9/41.3/13.8/41.1	15.3
Gemini-2.5-Pro	85.0	75.6	40.5/43.4	48.6/52.0/44.2/47.3	12.9
Claude-Opus-4	80.3	73.2	8.0/33.7	12.7/53.7/9.8/41.4	9.7
Robobrain2.0	60.8	37.2	9.2/11.3	26.7/32.8/13.7/16.9	5.6
Qwen3-VL	86.2	60.4	26.0/29.6	46.0/52.4/33.2/37.9	8.7
Ours	97.4	86.2	73.2/74.8	80.3/82.0/76.6/78.2	14.1

• PARSE-10K での Qwen3-VL のファインチューニングはオブジェクトレベルのレイアウト推論と部品レベルの関係理解を向上させる。
• 3D生成における構造的 priors として PAG を用いると、物理的現実性と構造的複雑さの高いシーンが得られる。
• PARSE-10K は VLMs における視覚的基礎付けと関係推論を強化し、より制御可能で現実的なシーン生成を支援する。
• PARSE-10K ベースのモデルは視覚的関係、部品レベル接触、シーングラフ生成タスクでベースラインを上回る。
• データセットとフレームワークは空間推論ベンチ mark と3D生成品質の両方で実質的な利得を生む。