[论文解读] GeoCode: Interpretable Shape Programs

Ofek Pearl, Itai Lang+3 more|arXiv (Cornell University)|Dec 19, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

GeoCode 引入了一种程序化 3D 形状生成框架，可将点云或草图映射到可解释的参数空间，从而实现直观的高层级编辑，并一致地传播至生成结构有效、高质量的网格。该方法在各种输入下均实现了卓越的重建精度和鲁棒性，包括噪声点云和自由曲面草图，同时支持物理合理性与形状插值。

ABSTRACT

The task of crafting procedural programs capable of generating structurally valid 3D shapes easily and intuitively remains an elusive goal in computer vision and graphics. Within the graphics community, generating procedural 3D models has shifted to using node graph systems. They allow the artist to create complex shapes and animations through visual programming. Being a high-level design tool, they made procedural 3D modeling more accessible. However, crafting those node graphs demands expertise and training. We present GeoCode, a novel framework designed to extend an existing node graph system and significantly lower the bar for the creation of new procedural 3D shape programs. Our approach meticulously balances expressiveness and generalization for part-based shapes. We propose a curated set of new geometric building blocks that are expressive and reusable across domains. We showcase three innovative and expressive programs developed through our technique and geometric building blocks. Our programs enforce intricate rules, empowering users to execute intuitive high-level parameter edits that seamlessly propagate throughout the entire shape at a lower level while maintaining its validity. To evaluate the user-friendliness of our geometric building blocks among non-experts, we conducted a user study that demonstrates their ease of use and highlights their applicability across diverse domains. Empirical evidence shows the superior accuracy of GeoCode in inferring and recovering 3D shapes compared to an existing competitor. Furthermore, our method demonstrates superior expressiveness compared to alternatives that utilize coarse primitives. Notably, we illustrate the ability to execute controllable local and global shape manipulations.

研究动机与目标

• 解决创建一种支持直观高层级编辑、同时保持结构有效性和网格质量的 3D 形状表示的挑战。
• 通过结合可解释参数与高保真网格生成，弥合神经隐式表示（通常不够直观）与程序化方法（通常粗糙）之间的差距。
• 实现从多样化输入（包括点云、草图以及简化或噪声几何体）中进行精确且鲁棒的形状重建。
• 支持高级编辑操作，如形状混合、插值和物理模拟，确保一致性和合理性。
• 构建一个能泛化至分布外输入（如真实世界扫描和图像中的草图）的系统。

提出的方法

• 设计了一种新颖的程序化程序，用于从可解释参数生成高质量 3D 网格，通过强制执行几何和拓扑规则以确保结构有效性。
• 一个神经网络编码器将输入的点云或草图映射到人类可解释的参数空间，捕捉离散属性（如扶手数量）、二值属性（如是否带扶手）和连续属性（如腿的粗细）。
• 参数空间包含语义部件标签，实现在生成形状间的一致分割。
• 程序化程序通过执行低层级几何操作构建最终网格，从高层级参数传播变化，同时保持形状完整性。
• 系统在大规模合成数据集上进行训练，该数据集通过遍历可解释参数空间生成，从而实现对真实世界输入的泛化能力。
• 通过直接修改参数执行编辑，变化会自动通过程序化流水线传播，以更新网格。

实验结果

研究问题

• RQ1 能否设计一种程序化程序，从可解释的参数空间生成高保真 3D 网格，同时保持结构有效性？
• RQ2 神经网络能否准确地从多样化输入（如点云和草图）中推断出可解释的参数表示？
• RQ3 该系统对输入变化（如噪声、简化和分布外草图）的鲁棒性如何？
• RQ4 参数空间在多大程度上支持直观的编辑、形状混合与插值？
• RQ5 生成的形状是否具备物理合理性，并可原生用于标准 3D 建模工作流？

主要发现

• GeoCode 在形状重建中实现了显著更低的 Chamfer 距离，点云输入的平均值为 0.00041，草图输入的平均值为 0.00117（在约 2K 个面的简化网格上）。
• 当将网格简化 10 倍（从约 25K 个面简化至约 2K 个面）时，重建质量仅轻微下降，表明对输入细节减少具有强大鲁棒性。
• 在高度简化的情况下（100 倍，约 120 个面），点云的 Chamfer 距离上升至 0.0028，草图的则为 0.00517，表明对极端简化具有中等敏感性。
• 系统对分布外输入（包括真实世界扫描、噪声点云和图像中的草图）泛化良好，同时保持结构有效性和可解释性。
• 通过成功的物理模拟验证了物理合理性：生成的物体（如花瓶和椅子）在从平面上方掉落时保持稳定。
• 形状混合与插值效果良好且一致：将不同形状的参数组合可生成结构有效、物理合理的混合体，且部件转移在混合实例间得以保留。