[論文レビュー] Learning to Infer and Execute 3D Shape Programs

Yonglong Tian, Andrew Luo+5 more|arXiv (Cornell University)|Jan 9, 2019

3D Shape Modeling and Analysis参考文献 41被引用数 50

ひとこと要約

本論文は3D形状プログラム、描画とループ構造を持つDSL、ニューラルパイプライン（プログラム生成器＋ニューラルプログラム実行器）を提案し、これらのプログラムを推定・実行して3D形状を自己教師付きで再構成し、ShapeNetへの guided adaptation と画像から形状への知覚へ拡張を行う。

ABSTRACT

Human perception of 3D shapes goes beyond reconstructing them as a set of points or a composition of geometric primitives: we also effortlessly understand higher-level shape structure such as the repetition and reflective symmetry of object parts. In contrast, recent advances in 3D shape sensing focus more on low-level geometry but less on these higher-level relationships. In this paper, we propose 3D shape programs, integrating bottom-up recognition systems with top-down, symbolic program structure to capture both low-level geometry and high-level structural priors for 3D shapes. Because there are no annotations of shape programs for real shapes, we develop neural modules that not only learn to infer 3D shape programs from raw, unannotated shapes, but also to execute these programs for shape reconstruction. After initial bootstrapping, our end-to-end differentiable model learns 3D shape programs by reconstructing shapes in a self-supervised manner. Experiments demonstrate that our model accurately infers and executes 3D shape programs for highly complex shapes from various categories. It can also be integrated with an image-to-shape module to infer 3D shape programs directly from an RGB image, leading to 3D shape reconstructions that are both more accurate and more physically plausible.

研究の動機と目的

• 局所ジオメトリと高レベル構造（対称性、反復性）を捉える表現としての3D形状プログラムの導入。
• 未ラベル形状から形状プログラムを推定し、それを実行して再構成するニューラルパイプラインの開発。
• 微分可能なプログラム実行器を通じて誤差逆伝播を可能にし、自己教師付きのエンドツーエンド学習を実現。
• guided adaptation による実データセット（ShapeNet、Pix3D）への適応を実証。
• RGB画像から直接形状を推定する拡張を示し、再構成と妥当性を向上。

提案手法

• Draw および For 文を用いた3D形状のDSLを定義し、部品と規則性をモデル化。
• Block LSTMとStep LSTMを用いた二層のプログラム生成器を実装し、ブロックレベルとブロック内のトークンを予測。
• プログラムから形状をレンダリングし勾配ベースの訓練を可能にするニューラルプログラム実行器（LSTM + 3Dデコンボリューション）を作成。
• 推論プログラム合成のためのエンドツーエンドの逆伝播を可能にするよう、合成ブロックプログラム–形状ペアで実行器を訓練。
• 凍結された実行器を介して再構成損失を最小化することで、事前訓練済み生成器をShapeNetに適応させるためのGAを用いる。
• IoU、Chamfer Distance (CD)、Earth Mover’s Distance (EMD) を用いて評価し、見ていないカテゴリや Pix3D で一般化テストを実施。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは未ラベルの形状から解釈可能な3D形状プログラムを推定できるか？
• RQ2 微分可能なプログラム実行器は3D形状再構成のエンドツーエンド学習を可能にするか？
• RQ3 guided adaptation は ShapeNet のような実データセットへの一般化を改善するか？
• RQ4 RGB画像から直接形状を推定・再構成するプログラム実行パイプラインが可能か？

主な発見

• 合成データでは、プログラム生成器はトークン精度99.9%超、入力形状と再構成形状のIoUは0.991。
• ニューラルプログラム実行器は、単一描画文でIoU0.93、複合文で0.88を達成。
• GAなしのShape ProgramsはIoU 0.487 (table)、0.422 (chair); GAありでIoUは0.591 (table)、0.516 (chair)へ改善。
• CDはGAでtableが0.067から0.058へ、chairが0.072から0.063へ改善。EMDはtableが0.067から0.058、chairが0.072から0.060へ改善。
• guided adaptation は安定性/連結性の大幅な向上をもたらし、stableがtable97.0%、chair96.5%へ、stable & connectedがtable77.0%、chair66.0%へ。
• GAにより未見カテゴリの一般化が大幅に改善（例: bed: 0.23 -> 0.37; sofa: 0.30 -> 0.60; cabinet: 0.25 -> 0.48; bench: 0.18 -> 0.42）。