[论文解读] Learning to Infer and Execute 3D Shape Programs

Yonglong Tian, Andrew Luo+5 more|arXiv (Cornell University)|Jan 9, 2019

3D Shape Modeling and Analysis参考文献 41被引用 50

一句话总结

论文介绍了3D形状程序、含绘图和循环构造的DSL，以及一个神经管线（程序生成器 + 神经程序执行器），用于推断并执行这些程序以自监督方式重建3D形状，并对ShapeNet进行引导适应，扩展到图像到形状的感知。

ABSTRACT

Human perception of 3D shapes goes beyond reconstructing them as a set of points or a composition of geometric primitives: we also effortlessly understand higher-level shape structure such as the repetition and reflective symmetry of object parts. In contrast, recent advances in 3D shape sensing focus more on low-level geometry but less on these higher-level relationships. In this paper, we propose 3D shape programs, integrating bottom-up recognition systems with top-down, symbolic program structure to capture both low-level geometry and high-level structural priors for 3D shapes. Because there are no annotations of shape programs for real shapes, we develop neural modules that not only learn to infer 3D shape programs from raw, unannotated shapes, but also to execute these programs for shape reconstruction. After initial bootstrapping, our end-to-end differentiable model learns 3D shape programs by reconstructing shapes in a self-supervised manner. Experiments demonstrate that our model accurately infers and executes 3D shape programs for highly complex shapes from various categories. It can also be integrated with an image-to-shape module to infer 3D shape programs directly from an RGB image, leading to 3D shape reconstructions that are both more accurate and more physically plausible.

研究动机与目标

• 引入作为表示的3D形状程序，能够同时捕捉局部几何和高级结构（对称性、重复性）。
• 开发一个神经管线以从未标注的形状中推断形状程序并执行它们以进行重建。
• 通过可微程序执行器进行反向传播，实现端到端的自监督学习。
• 通过引导适应在真实数据集（ShapeNet、Pix3D）上展示适应性。
• 展示直接从RGB图像推断形状程序以改进重建和可信度的扩展。

提出的方法

• 定义用于3D形状的领域专用语言（DSL），使用Draw和For语句来建模部件与规则性。
• 实现两层级的程序生成器，包含Block LSTM和Step LSTM，用于预测块级和每个块的程序标记。
• 创建一个神经程序执行器（LSTM + 3D反卷积），从程序渲染形状并实现基于梯度的训练。
• 在合成的块-程序-形状对上训练执行器，使程序综合具有端到端的反向传播。
• 通过引导适应（GA）对预训练的生成器进行ShapeNet的适配，冻结执行器并最小化重建损失。
• 使用IoU、Chamfer Distance（CD）和Earth Mover’s Distance（EMD）进行评估，并在未见类别和Pix3D上进行泛化测试。

实验结果

研究问题

• RQ1 神经模型是否能够从未标注的形状中推断出可解释的3D形状程序？
• RQ2 可微分的程序执行器是否能够实现3D形状重建的端到端学习？
• RQ3 引导适应是否提升对 ShapeNet 之类实际数据集的泛化能力？
• RQ4 是否可以通过程序执行管线从RGB图像直接推断并重构形状？

主要发现

• 在合成数据上，程序生成器达到超过 99.9% 的标记准确率，输入形状与重建形状之间的IoU为0.991。
• 神经程序执行器在单个绘制语句上达到IoU 0.93，在复合语句上达到IoU 0.88。
• Shape Programs 无 GA 时 IoU 为 0.487（表格）和 0.422（椅子）；有 GA 时 IoU 提升至 0.591（表格）和 0.516（椅子）。
• CD 从 0.067（表格）提升至 0.058（表格），从 0.072（椅子）提升至 0.063（椅子）；EMD 从 0.067 提升到 0.058（表格），从 0.072 提升到 0.060（椅子）。
• 引导适配带来显著的稳定性/连通性提升：稳定性百分比提升至 97.0%（表格）和 96.5%（椅子）；稳定且连通提升至 77.0%（表格）和 66.0%（椅子）。
• 未见类别的泛化在 GA 下显著改善（例如床：IoU 从 0.23 提升到 0.37；沙发：0.60 从 0.30 提升；橱柜：0.48 从 0.25 提升；长凳：0.42 从 0.18 提升）。