[论文解读] COALESCE: Component Assembly by Learning to Synthesize Connections

Kangxue Yin, Zhiqin Chen+4 more|arXiv (Cornell University)|Aug 5, 2020

3D Shape Modeling and Analysis参考文献 57被引用 6

一句话总结

COALESCE 提出了一种数据驱动的深度学习框架，用于3D形状拼接，能够学习合成不匹配部件之间的自然且拓扑一致的接头。通过侵蚀输入部件以解决几何和拓扑不一致问题，并利用接头合成网络预测隐式表面场，COALESCE 生成了无缝且高质量的网格拼接结果，在定性和定量评估中均优于先前方法。

ABSTRACT

We introduce COALESCE, the first data-driven framework for component-based shape assembly which employs deep learning to synthesize part connections. To handle geometric and topological mismatches between parts, we remove the mismatched portions via erosion, and rely on a joint synthesis step, which is learned from data, to fill the gap and arrive at a natural and plausible part joint. Given a set of input parts extracted from different objects, COALESCE automatically aligns them and synthesizes plausible joints to connect the parts into a coherent 3D object represented by a mesh. The joint synthesis network, designed to focus on joint regions, reconstructs the surface between the parts by predicting an implicit shape representation that agrees with existing parts, while generating a smooth and topologically meaningful connection. We employ test-time optimization to further ensure that the synthesized joint region closely aligns with the input parts to create realistic component assemblies from diverse input parts. We demonstrate that our method significantly outperforms prior approaches including baseline deep models for 3D shape synthesis, as well as state-of-the-art methods for shape completion.

研究动机与目标

• 解决来自不同物体的3D部件在几何和拓扑上不匹配时的无缝连接挑战。
• 自动化基于组件的3D建模中低层次、繁琐的部件对齐与接头合成任务。
• 开发一种基于学习的方法，以泛化于多样的部件配置和形状，避免依赖启发式或用户引导的拼接。
• 通过专注于接头合成而非完整形状重建，改进现有的形状补全和孔洞填充方法。
• 通过端到端神经合成，实现从无关部件创建新颖且一致的3D物体。

提出的方法

• 输入部件通过侵蚀预处理，以去除不匹配区域，为接头合成创造空间。
• 部件对齐网络学习预测将部件对齐至合理构型的变换。
• 接头合成网络预测对齐部件之间连接区域的隐式符号距离场（SDF）表示。
• 使用类似U-Net的解码器与PointNet++编码器生成的潜在码结合，生成隐式场，确保与输入部件的一致性。
• 将隐式场多边形化为网格，并应用泊松拼接技术，将合成的接头与输入部件平滑融合。
• 该框架在ShapeNet数据集中分割的3D形状上进行训练，监督目标为接头的几何与拓扑结构。

实验结果

研究问题

• RQ1 深度学习模型能否学习在具有几何和拓扑不匹配的3D部件之间合成合理且具有拓扑意义的接头？
• RQ2 与完整的形状重建或孔洞填充基线方法相比，接头合成方法在质量与鲁棒性方面表现如何？
• RQ3 在某一类别上训练的模型，能在多大程度上泛化到未见过的部件配置或新数据集？
• RQ4 基于侵蚀的预处理在处理部件错位与边界不一致问题方面有多有效？
• RQ5 架构选择（如潜在码拼接与隐式场建模）对接头合成性能有何影响？

主要发现

• COALESCE 在定性和定量评估中均显著优于基线深度学习模型和最先进的形状补全方法。
• 该方法在输入部件随机缩放和平移的扰动下表现出强大的鲁棒性，在所有评估基线中表现最佳。
• 无需微调即可实现对COSEG椅子数据集的泛化，表明模型捕捉到了超越训练分布的通用接头模式。
• 通过将缺失部件的潜在码设为零向量，网络能够为新型配置（如无扶手的椅子或缺失手柄）合成接头。
• 当几何或拓扑不匹配超出模型容量时会出现失败案例，尤其在复杂细长结构或严重错位情况下。
• 该方法的性能受限于PointNet++编码器和IM解码器的容量，尤其是在处理细粒度部件或增加部件数量时。