[論文レビュー] Learning a Hierarchical Latent-Variable Model of Voxelized 3D Shapes.

Shikun Liu, Alexander G. Ororbia+1 more|arXiv (Cornell University)|May 17, 2017

3D Shape Modeling and Analysis被引用数 3

ひとこと要約

変分形状ラーナー（VSL）は、スキップ接続を用いて、教師なしでボクセル化された3D形状の分離可能で階層的な潜在表現を学習する階層的変分オートエンコーダーである。このモデルは2D画像からエンドツーエンドの訓練が可能であり、単一画像からの3Dリトリーブを実現するとともに、学習された潜在多様体からのサンプリングによって現実的な3Dオブジェクトを生成でき、一般化性能において最先端の手法を上回る。

ABSTRACT

We propose the Variational Shape Learner (VSL), a generative model that learns the underlying structure of voxelized 3D shapes in an unsupervised fashion. Through the use of skip-connections, our model can successfully learn and infer a latent, hierarchical representation of objects. Furthermore, realistic 3D objects can be easily generated by sampling the VSL's latent probabilistic manifold. We show that our generative model can be trained end-to-end from 2D images to perform single image 3D model retrieval. Experiments show, both quantitatively and qualitatively, the improved generalization of our proposed model over a range of tasks, performing better or comparable to various state-of-the-art alternatives.

研究の動機と目的

• 3Dボクセル化形状の分離可能で階層的な潜在表現を、3Dの教師信号を一切用いずに学習すること。
• 2D画像から3D形状リトリーブへエンドツーエンドの訓練を可能にし、3Dアノテーションへの依存を低減すること。
• 学習された確率的潜在多様体からのサンプリングにより、現実的でリアルな3Dオブジェクトを生成すること。
• 既存の生成モデルと比較して、3D形状再構築およびリトリーブタスクにおける一般化性能の向上を図ること。

提案手法

• モデルは、複数の抽象レベルでの特徴学習を改善し、訓練を安定化させるためにスキップ接続を組み込んだ階層的変分オートエンコーダー（VAE）を採用している。
• 階層的な潜在空間を用い、各レベルが粗いものから細かい形状部品まで、異なるスケールの構造的詳細を捉える。
• 空間情報を保持し、エンドツーエンドの訓練中の勾配伝播を促進するために、スキップ接続を統合している。
• 2D画像を入力として、3D形状生成を監視するために微分可能レンダリングプロセスを活用して、エンドツーエンドで訓練している。
• VAEフレームワークにより潜在空間の確率的モデリングが可能となり、サンプリングによって多様で現実的な3D形状の生成が可能になる。
• モデルは、単一画像からの3Dリトリーブに適した教師なし事前学習および微調整をサポートするようにアーキテクチャが設計されている。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続を備えた階層的VAEは、教師なしで3Dボクセル化形状の意味的で分離可能な表現を学習できるか？
• RQ2 2D画像のみで訓練されたモデルが、3D形状リトリーブおよび再構築タスクにどの程度一般化できるか？
• RQ3 フラットな潜在空間と比較して、階層的潜在構造は生成品質および分離性をどのように向上させるか？
• RQ4 スキップ接続の使用は、3D形状生成における訓練の安定性と性能を向上させるか？
• RQ5 提案手法は、3D形状生成およびリトリーブタスクにおいて、最先端の手法と比較してどの程度の性能を示すか？

主な発見

• VSLモデルは、最先端のベースラインと比較して、3D形状再構築およびリトリーブタスクにおいて優れた一般化性能を達成した。
• 階層的潜在空間により、形状部品のより良い分離が実現され、解釈可能で制御可能な生成が可能になった。
• 学習された潜在多様体からのサンプリングにより、現実的で多様な3D形状が生成され、モデルの生成能力が裏付けられた。
• モデルは2D画像から3D形状リトリーブへエンドツーエンドの訓練に成功し、優れたゼロショット一般化性能を示した。
• 実験の結果、スキップ接続が3D形状生成における訓練の安定性および最終的な性能を顕著に向上させた。