[论文解读] Learning to Infer Shape Programs Using Latent Execution Self Training.

Homer Walke, R. Kenny Jones+1 more|arXiv (Cornell University)|Nov 25, 2020

Manufacturing Process and Optimization参考文献 14被引用 4

一句话总结

本文提出潜在执行自训练（Latent Execution Self Training, LEST），一种通过在无标签形状上使用可执行潜在程序进行自训练来推断形状程序的方法。通过执行预测的程序以生成合成形状并在此基础上微调，LEST 避免了局部极小值问题，在构造实体几何和装配建模中实现了比强化学习更快、更准确的重建效果。

ABSTRACT

Inferring programs which generate 2D and 3D shapes is important for reverse engineering, enabling shape editing, and more. Supervised learning is hard to apply to this problem, as paired (program, shape) data rarely exists. Recent approaches use supervised pre-training with randomly-generated programs and then refine using self-supervised learning. But self-supervised learning either requires that the program execution process be differentiable or relies on reinforcement learning, which is unstable and slow to converge. In this paper, we present a new approach for learning to infer shape programs, which we call latent execution self training (LEST). As with recent prior work, LEST starts by training on randomly-generated (program, shape) pairs. As its name implies, it is based on the idea of self-training: running a model on unlabeled input shapes, treating the predicted programs as ground truth latent labels, and training again. Self-training is known to be susceptible to local minima. LEST circumvents this problem by leveraging the fact that predicted latent programs are executable: for a given shape $\mathbf{x}^* \in S^*$ and its predicted program $\mathbf{z} \in P$, we execute $\mathbf{z}$ to obtain a shape $\mathbf{x} \in S$ and train on $(\mathbf{z} \in P, \mathbf{x} \in S)$ pairs, rather than $(\mathbf{z} \in P, \mathbf{x}^* \in S^*)$ pairs. Experiments show that the distribution of executed shapes $S$ converges toward the distribution of real shapes $S^*$. We establish connections between LEST and algorithms for learning generative models, including variational Bayes, wake sleep, and expectation maximization. For constructive solid geometry and assembly-based modeling, LEST's inferred programs converge to high reconstruction accuracy significantly faster than those of reinforcement learning.

研究动机与目标

• 解决缺乏成对（程序，形状）训练数据时推断形状程序的挑战，此类数据在实践中极为稀缺。
• 克服先前自监督方法依赖可微分执行或不稳定的强化学习所带来的局限性。
• 通过利用可执行潜在程序作为伪标签，提升形状程序推断的收敛性和准确性。
• 在二维和三维形状生成任务（如构造实体几何和装配建模）中实现高效学习。
• 建立与变分推断和期望最大化算法的理论联系，以优化训练动态。

提出的方法

• 在随机生成的（程序，形状）配对上训练初始模型，以建立基础先验。
• 使用该模型为无标签输入形状预测程序，并将这些预测视为潜在标签。
• 执行预测的程序以生成合成形状，形成新的（程序，形状）训练配对。
• 在执行生成的形状配对上微调模型，而非原始输入形状，从而实现稳定的自训练。
• 利用潜在程序的可执行性，确保生成形状的分布向真实形状分布收敛。
• 将训练过程与变分贝叶斯、wake-sleep 和期望最大化等成熟算法相联系，提供理论支撑。

实验结果

研究问题

• RQ1 通过将可执行潜在程序作为伪标签，能否使形状程序推断的自训练过程更加稳定和高效？
• RQ2 在形状生成任务中，LEST 与强化学习相比，在收敛速度和重建精度方面表现如何？
• RQ3 在训练过程中，执行生成的形状分布向真实形状分布收敛的程度如何？
• RQ4 LEST 与期望最大化（EM）和 wake-sleep 等经典生成模型训练算法之间存在何种理论联系？
• RQ5 LEST 是否能在不同形状建模范式（如构造实体几何和基于装配的建模）之间实现良好泛化？

主要发现

• 在构造实体几何和基于装配的建模中，LEST 相较于强化学习基线方法，实现了显著更快的收敛速度和更高的重建精度。
• 执行潜在程序生成的形状分布向真实形状分布收敛，表明实现了有效的分布对齐。
• 使用可执行潜在程序进行自训练可降低陷入局部极小值的风险，相比标准自训练方法，训练过程更加稳定。
• LEST 在无需可微分执行或奖励塑形的情况下表现优异，这与以往自监督方法形成鲜明对比。
• 该方法建立了与变分推断和期望最大化算法的理论联系，为其训练动态提供了严谨的理论基础。
• 在复杂形状生成任务中，尤其在稀疏监督条件下，LEST 在速度和精度上均优于强化学习方法。