[論文レビュー] Learning to Infer Shape Programs Using Latent Execution Self Training.

Homer Walke, R. Kenny Jones+1 more|arXiv (Cornell University)|Nov 25, 2020

Manufacturing Process and Optimization参考文献 14被引用数 4

ひとこと要約

本稿では、実行可能な潜在プログラムを用いてラベルなし形状データ上で自己学習を行う、形状プログラムを推論するためのLatent Execution Self Training (LEST) を提案する。予測されたプログラムを実行して合成形状を生成し、それらで微調整することで、LESTは局所最適解を回避し、構成的立体幾何学およびアセンブリモデリングにおいて強化学習より高速かつ高精度な再構成を達成する。

ABSTRACT

Inferring programs which generate 2D and 3D shapes is important for reverse engineering, enabling shape editing, and more. Supervised learning is hard to apply to this problem, as paired (program, shape) data rarely exists. Recent approaches use supervised pre-training with randomly-generated programs and then refine using self-supervised learning. But self-supervised learning either requires that the program execution process be differentiable or relies on reinforcement learning, which is unstable and slow to converge. In this paper, we present a new approach for learning to infer shape programs, which we call latent execution self training (LEST). As with recent prior work, LEST starts by training on randomly-generated (program, shape) pairs. As its name implies, it is based on the idea of self-training: running a model on unlabeled input shapes, treating the predicted programs as ground truth latent labels, and training again. Self-training is known to be susceptible to local minima. LEST circumvents this problem by leveraging the fact that predicted latent programs are executable: for a given shape $\mathbf{x}^* \in S^*$ and its predicted program $\mathbf{z} \in P$, we execute $\mathbf{z}$ to obtain a shape $\mathbf{x} \in S$ and train on $(\mathbf{z} \in P, \mathbf{x} \in S)$ pairs, rather than $(\mathbf{z} \in P, \mathbf{x}^* \in S^*)$ pairs. Experiments show that the distribution of executed shapes $S$ converges toward the distribution of real shapes $S^*$. We establish connections between LEST and algorithms for learning generative models, including variational Bayes, wake sleep, and expectation maximization. For constructive solid geometry and assembly-based modeling, LEST's inferred programs converge to high reconstruction accuracy significantly faster than those of reinforcement learning.

研究の動機と目的

• 実際には入手が困難な対応する（プログラム, 形状）トレーニングデータが存在しない形状プログラムの推論という課題に対処すること。
• 微分可能実行や不安定な強化学習に依存する従来の自己教師あり手法の限界を克服すること。
• 実行可能な潜在プログラムを偽ラベルとして活用することで、形状プログラム推論の収束性と精度を向上させること。
• 構成的立体幾何学やアセンブリモデリングなどの2Dおよび3D形状生成タスクにおける効率的な学習を可能にすること。
• 変分推論および期待値最大化と理論的接続を確立し、トレーニングダイナミクスをより良く理解すること。

提案手法

• 初期モデルをランダムに生成された（プログラム, 形状）ペアで学習させ、ベースとなる事前分布を確立する。
• モデルを用いてラベルなしの入力形状のプログラムを予測し、これらを潜在ラベルとして扱う。
• 予測されたプログラムを実行して合成形状を生成し、新たな（プログラム, 形状）トレーニングペアを形成する。
• 元の入力形状ではなく、実行された形状ペアでモデルを微調整することで、安定な自己学習を可能にする。
• 潜在プログラムの実行可能性を活用することで、生成形状の分布が実際の形状分布に収束することを保証する。
• 変分ベイズ、ウェイクスリープ、期待値最大化といった既存のアルゴリズムと接続することで、理論的根拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 実行可能な潜在プログラムを偽ラベルとして用いることで、形状プログラム推論の自己学習がより安定的かつ効果的になるか？
• RQ2 LESTは、形状生成における収束速度と再構成精度の面で強化学習と比べてどのように異なるか？
• RQ3 トレーニング中に実行された形状の分布が、実際の形状の分布にどの程度収束するか？
• RQ4 LESTと期待値最大化やウェイクスリープといった既存の生成モデルトレーニングアルゴリズムとの間には、どのような理論的接続があるか？
• RQ5 LESTは、構成的立体幾何学やアセンブリベースモデリングのような、異なる形状モデリングパラダイムに一般化可能か？

主な発見

• LESTは、構成的立体幾何学およびアセンブリベースモデリングの両方において、強化学習ベースラインと比較して著しく高速に高精度な再構成に収束する。
• 潜在プログラムを実行して生成された形状の分布は、実際の形状の分布に収束しており、効果的な分布整合性が示されている。
• 実行可能な潜在プログラムを用いた自己学習は、局所最適解のリスクを軽減し、標準的な自己学習アプローチよりもトレーニングの安定性が向上する。
• LESTは、微分可能実行や報酬形状の必要がなく、従来の自己教師あり手法とは異なり、優れた性能を発揮する。
• 変分推論および期待値最大化との理論的接続を確立し、トレーニングダイナミクスに原理的根拠を提供する。
• 特に疎な監視情報が与えられる複雑な形状生成タスクにおいて、LESTは速度と精度の両面で強化学習を上回る。