[論文レビュー] Learning a Hierarchical Latent-Variable Model of 3D Shapes

Shikun Liu, C. Lee Giles+1 more|arXiv (Cornell University)|May 17, 2017

3D Shape Modeling and Analysis参考文献 47被引用数 3

ひとこと要約

本稿では、スキップ接続を備えた階層的変分オートエンコーダとしての変分形状学習者（VSL）を提案する。このモデルは、教師なしで3次元ボクセル形状の分離可能で多層の潜在表現を学習する。潜在空間に構造的な階層を強制することにより、高精度な3次元生成、1枚の画像からの優れた形状再構成、および効果的な形状算術が可能となり、パラメータ数を著しく削減したにもかかわらず、最先端のモデルを上回る性能を発揮する。

ABSTRACT

We propose the Variational Shape Learner (VSL), a generative model that learns the underlying structure of voxelized 3D shapes in an unsupervised fashion. Through the use of skip-connections, our model can successfully learn and infer a latent, hierarchical representation of objects. Furthermore, realistic 3D objects can be easily generated by sampling the VSL's latent probabilistic manifold. We show that our generative model can be trained end-to-end from 2D images to perform single image 3D model retrieval. Experiments show, both quantitatively and qualitatively, the improved generalization of our proposed model over a range of tasks, performing better or comparable to various state-of-the-art alternatives.

研究の動機と目的

• 既存の3次元形状生成モデルにおける平坦で単一レベルの潜在表現の制限を解消し、モデルの表現力と一般化能力を向上させること。
• エッジから複雑な構造まで、多段階の抽象化を捉える階層的かつ分離可能な3次元形状の潜在表現を学習すること。
• 人間によるキーポイント、セグメンテーション、ポーズのラベルに依存せずに、完全に教師なしの3次元形状生成と再構成を可能にすること。
• 最先端のモデルと比較して、教師なし3次元形状分類および1枚の画像からの3次元再構成において、性能を向上させること。
• 形状算術や意味のある補間を用いて、学習された潜在空間の有用性を実証すること。

提案手法

• エンコーダとデコーダの層間にスキップ接続を設けた深層変分オートエンコーダアーキテクチャを用い、潜在空間における階層的抽象化を強制する。
• 各層の潜在変数は、別々の抽象化レベルをモデル化するように制約され、上位の層が下位の特徴を条件付き生成によって制御する。
• 変分推論とアンモライズド推論を用いて、データの対数尤度の変分下界を最小化することで、エンドツーエンドに学習する。
• 構造的階層を暗黙的にアーキテクチャ設計によって強制し、複雑な構造的事前分布や追加の正則化の必要性を回避する。
• 2次元画像とボクセル化された3次元形状を同時に学習することで、ポーズやキーポイントに関する教師信号なしに1枚の画像からの3次元再構成を可能にする。
• 階層的潜在コード上で直接、ベクトル演算（例：ベクトルの加算）を実行し、意味的に意味のある新しい3次元形状を生成する。

実験結果

リサーチクエスチョン

• RQ1 階層的潜在変数モデルは、平坦な潜在モデルと比較して、3次元形状のより表現力があり、分離可能な表現を学習できるか？
• RQ2 変分オートエンコーダにスキップ接続を導入することで、3次元形状生成の潜在空間に構造的な階層を効果的に強制できるか？
• RQ3 提案手法は、人間によるラベルなしで、教師なし3次元形状分類において最先端の性能を達成できるか？
• RQ4 モデルは、遮蔽や照明の変化があっても、1枚の2次元画像から高精度な3次元形状を再構成できるか？
• RQ5 学習された階層的潜在空間におけるベクトル演算により、意味的に意味のあるかつ現実的な3次元形状の補間が得られるか？

主な発見

• VSLは、教師なし3次元形状分類において最先端のモデルを上回り、ModelNet40で100次元未満の潜在コードで92.4%の精度を達成した。これは、3D-GANが使用する250万次元の潜在コードと比較して顕著な改善である。
• PASCAL 3Dにおける1枚の画像からの3次元再構成において、別々に訓練されたVSLは、10のカテゴリのうち8つで3D-R2N2 ResNetモデルを上回り、平均IoUは0.619（3D-R2N2：0.571）を記録した。
• 別々に訓練された設定において、VSLは「aero」クラスで0.631のIoU、「bike」クラスで0.657のIoUを達成し、3D-R2N2 LSTMバージョン（0.472および0.330）を顕著に上回った。
• ModelNet10およびModelNet40における潜在空間のt-SNE可視化では、明確なクラス分離が観察され、形状クラスの有効な分離とクラスタリングが示された。
• 形状算術の実験では、実用的で直感的な3次元形状の組み合わせ（例：「car + airplane」→飛行可能な車両に似た物体）が得られ、潜在空間に意味的な構造が存在することを示した。
• 学習された階層的潜在多様体からのサンプリングにより、実際の形状とのマッチングや後処理を一切行わずに、現実的な3次元形状を生成できる。