[论文解读] Generative 3D Part Assembly via Dynamic Graph Learning

Jialei Huang, Guanqi Zhan+6 more|arXiv (Cornell University)|Jun 14, 2020

3D Shape Modeling and Analysis参考文献 40被引用 46

一句话总结

该论文提出一种面向装配的动态图学习框架，使用带有动态关系推理和部件聚合的迭代GNN，预测输入3D部件的6-DoF姿态，在PartNet的椅子、桌子和灯具数据集上达到最新状态的结果。

ABSTRACT

Autonomous part assembly is a challenging yet crucial task in 3D computer vision and robotics. Analogous to buying an IKEA furniture, given a set of 3D parts that can assemble a single shape, an intelligent agent needs to perceive the 3D part geometry, reason to propose pose estimations for the input parts, and finally call robotic planning and control routines for actuation. In this paper, we focus on the pose estimation subproblem from the vision side involving geometric and relational reasoning over the input part geometry. Essentially, the task of generative 3D part assembly is to predict a 6-DoF part pose, including a rigid rotation and translation, for each input part that assembles a single 3D shape as the final output. To tackle this problem, we propose an assembly-oriented dynamic graph learning framework that leverages an iterative graph neural network as a backbone. It explicitly conducts sequential part assembly refinements in a coarse-to-fine manner, exploits a pair of part relation reasoning module and part aggregation module for dynamically adjusting both part features and their relations in the part graph. We conduct extensive experiments and quantitative comparisons to three strong baseline methods, demonstrating the effectiveness of the proposed approach.

研究动机与目标

• 通过在没有语义先验的情况下，预测每个部件的6-DoF姿态来实现自主的3D部件装配动机。
• 开发一个面向装配的动态图框架，能够在粗到细的姿态细化过程中演化部件特征与关系。
• 利用动态关系推理和动态部件聚合来提升姿态估计与最终形状连通性。
• 在合成的PartNet数据上进行评估并与强基线对比以证明有效性。

提出的方法

• 在每次迭代中，将部件表示为一个动态、全连接图中的节点。
• 将每个部件的点云通过PointNet为初始节点特征进行编码。
• 进行5轮带有时变边和节点更新的图传信息过程以细化姿态。
• 引入一个动态关系推理模块，学习有向边权重r_ij，以根据当前姿态估计调制消息传递。
• 引入一个动态部件聚合模块，将几何等价的部件聚合为稀疏节点以传播共享信息，然后再回升到稠密节点。
• 使用Min-of-N (MoN)损失来处理多模态组装输出，通过Chamfer损失对每个部件的旋转和平移以及整体形状进行监督。
• 使用PartNet数据（椅子、桌子、灯具）与合成的真实部件姿态进行监督学习与评估。

实验结果

研究问题

• RQ1 一个面向装配的动态图模型是否能够在没有语义先验的情况下学习多部件3D形状的连贯、逐步姿态细化？
• RQ2 相比静态或非图模型基线，动态关系推理和动态部件聚合是否能提升装配形状的准确性和连通性？
• RQ3 该模型在PartNet数据集的家具类细粒度部件上对不同部件的表现如何？
• RQ4 在装配过程中，中央部件与边缘部件的迭代细化动力学有何见解？

主要发现

Shape CD (Chair)	Shape CD (Table)	Shape CD (Lamp)	Part Accuracy (Chair)	Part Accuracy (Table)	Part Accuracy (Lamp)	Connectivity Accuracy (Chair)	Connectivity Accuracy (Table)	Connectivity Accuracy (Lamp)
0.0091	0.0050	0.0093	39.00	49.51	33.33	23.87	39.96	41.70
0.0131	0.0125	0.0077	21.77	28.64	20.78	6.80	22.56	14.05
0.0241	0.0298	0.0150	8.78	2.32	12.67	9.19	15.57	26.56
0.0146	0.0112	0.0079	15.7	15.37	22.61	9.90	33.84	18.60

• 所提出的方法在Shape Chamfer Distance、Parts Accuracy和Connectivity Accuracy等指标上超越Chair/Table/Lamp类别的三项强基线。
• 中心部件（如椅背/座位）的姿态被较早学习并在后续迭代中引导外周部件（腿/扶手）的姿态，如动态关系权重所示。
• 动态关系推理和动态部件聚合各自对提升性能有贡献，消融实验显示移除时会出现显著下降。
• 全模型达到最佳结果：Shape CD 0.0050，Part Accuracy 49.51（Chair），33.33（Lamp/Table），Connectivity 39.96（Chair），41.70（Lamp）。
• 消融研究表明5轮GNN迭代在精度和可训练性之间取得良好平衡；更多迭代收益递减。