[論文レビュー] Generative 3D Part Assembly via Dynamic Graph Learning

Jialei Huang, Guanqi Zhan+6 more|arXiv (Cornell University)|Jun 14, 2020

3D Shape Modeling and Analysis参考文献 40被引用数 46

ひとこと要約

本論文は、アセンブリ指向の動的グラフ学習フレームワークを提案し、動的関係推論と部品集約を備えた反復的なGNNを用いて入力3D部品の6-DoF姿勢を予測し、PartNetの椅子・テーブル・ランプで最先端の結果を達成します。

ABSTRACT

Autonomous part assembly is a challenging yet crucial task in 3D computer vision and robotics. Analogous to buying an IKEA furniture, given a set of 3D parts that can assemble a single shape, an intelligent agent needs to perceive the 3D part geometry, reason to propose pose estimations for the input parts, and finally call robotic planning and control routines for actuation. In this paper, we focus on the pose estimation subproblem from the vision side involving geometric and relational reasoning over the input part geometry. Essentially, the task of generative 3D part assembly is to predict a 6-DoF part pose, including a rigid rotation and translation, for each input part that assembles a single 3D shape as the final output. To tackle this problem, we propose an assembly-oriented dynamic graph learning framework that leverages an iterative graph neural network as a backbone. It explicitly conducts sequential part assembly refinements in a coarse-to-fine manner, exploits a pair of part relation reasoning module and part aggregation module for dynamically adjusting both part features and their relations in the part graph. We conduct extensive experiments and quantitative comparisons to three strong baseline methods, demonstrating the effectiveness of the proposed approach.

研究の動機と目的

• 自動運転的な3D部品アセンブリを動機づけるため、セマンティック事前知識なしで入力部品のジオメトリから各部品の6-DoF姿勢を予測する。
• coarse-to-fineな姿勢リファインメントのため、部品特徴とリレーションを進化させるアセンブリ指向の動的グラフフレームワークを開発する。
• 動的リレーション推論と動的部品集約を活用して姿勢推定と最終形状の連結性を改善する。
• 合成のPartNetデータで評価し、強力なベースラインと比較して有効性を示す。

提案手法

• 各反復で部品を完全連結グラフのノードとして表現する。
• 各部品を点群からのPointNetベースの特徴で初期ノード特徴としてエンコードする。
• 姿勢を refine するため、時刻変化するエッジとノード更新を伴う5回のグラフメッセージ伝搬を実施する。
• 現在の姿勢推定に基づいてメッセージ伝搬を調整する directed edge weights r_ij を学習する動的リレーション推論モジュールを導入する。
• 幾何的に同値の部品を疎なノードとしてグループ化して共有情報を伝搬し、再び密なノードへアンプールする動的部品集約モジュールを導入する。
• 多モーダルなアセンブリ出力を扱うための MoN（Min-of-N）損失で訓練し、部品ごとの回転・並進と全体形状を Chamfer ベースの損失で監督する。
• PartNetデータ（椅子、テーブル、ランプ）を用い、合成のグラウンドトゥルース部品姿勢で supervised learning と評価を行う。

実験結果

リサーチクエスチョン

• RQ1 セマンティック priors なしで、アセンブリ指向の動的グラフモデルは多部品3D形状の連続的な姿勢リファインメントを学習できるか。
• RQ2 動的リレーション推論と動的部品集約は、静的または非グラフベースのベースラインと比べて、生成された形状の正確さと連結性を改善するか。
• RQ3 PartNetデータセットの家具風形状の細部部品に対して、モデルはどの程度の性能を発揮するか。
• RQ4 アセンブリ中の中心部と周辺部の反復的なリファインメントダイナミクスに関する洞察はあるか。

主な発見

Shape CD (Chair)	Shape CD (Table)	Shape CD (Lamp)	Part Accuracy (Chair)	Part Accuracy (Table)	Part Accuracy (Lamp)	Connectivity Accuracy (Chair)	Connectivity Accuracy (Table)	Connectivity Accuracy (Lamp)
0.0091	0.0050	0.0093	39.00	49.51	33.33	23.87	39.96	41.70
0.0131	0.0125	0.0077	21.77	28.64	20.78	6.80	22.56	14.05
0.0241	0.0298	0.0150	8.78	2.32	12.67	9.19	15.57	26.56
0.0146	0.0112	0.0079	15.7	15.37	22.61	9.90	33.84	18.60

• 提案手法は Shape Chamfer Distance、Part Accuracy、Connectivity Accuracy の3指標で椅子/テーブル/ランプカテゴリ全体で三つの強力なベースラインを上回る。
• 中核部品（例：椅子の背もたれ/座面）は早期に姿勢を学習し、周辺部品（脚/アーム）を後の反復で案内する。これは動的リレーション重みから示唆される。
• 動的リレーション推論と動的部品集約はそれぞれ性能向上に寄与しており、除去した場合に顕著な低下が見られる。
• 全体モデルは最良の結果を達成：Shape CD 0.0050、Part Accuracy 49.51（Chair）、33.33（Lamp/Table）、Connectivity 39.96（Chair）、41.70（Lamp）。
• アブレーション研究は、5回のGNN反復が精度と訓練可能性の良いバランスを提供することを示し、それ以上の反復は還元効果がある。