[論文レビュー] Variational Autoencoders for Deforming 3D Mesh Models

Qingyang Tan, Lin Gao+2 more|arXiv (Cornell University)|Sep 13, 2017

3D Shape Modeling and Analysis参考文献 47被引用数 7

ひとこと要約

本稿では、回転不変なメッシュ差分（RIMD）特徴量とMSE再構成損失を用いた完全結合ネットワークを用いて、変形する3次元メッシュのための確率的かつ分離可能な潜在空間を学習する、メッシュ変分オートエーコーダ（mesh VAE）を提案する。この手法により、高品質な形状生成、補間、探索が可能となり、最小限の学習データでも最先端の手法を上回る形状空間埋め込みと合成性能を達成する。

ABSTRACT

3D geometric contents are becoming increasingly popular. In this paper, we study the problem of analyzing deforming 3D meshes using deep neural networks. Deforming 3D meshes are flexible to represent 3D animation sequences as well as collections of objects of the same category, allowing diverse shapes with large-scale non-linear deformations. We propose a novel framework which we call mesh variational autoencoders (mesh VAE), to explore the probabilistic latent space of 3D surfaces. The framework is easy to train, and requires very few training examples. We also propose an extended model which allows flexibly adjusting the significance of different latent variables by altering the prior distribution. Extensive experiments demonstrate that our general framework is able to learn a reasonable representation for a collection of deformable shapes, and produce competitive results for a variety of applications, including shape generation, shape interpolation, shape space embedding and shape exploration, outperforming state-of-the-art methods.

研究の動機と目的

• 大規模な非線形変形を伴う変形する3次元メッシュの集合に対して、意味的で次元が低い表現を学習する課題に対処すること。
• 学習データに存在しない、新しいかつ現実的な3次元メッシュ形状を合成できる深層生成モデルを開発すること。
• 分離可能で解釈可能な潜在的変動要因を学習することで、柔軟な形状空間の探索と補間を可能にすること。
• 3次元メッシュにおけるCNNの限界を克服するため、グリッド歪みを回避するメッシュベースの回転不変特徴表現を採用すること。
• 形状生成、補間、埋め込みのための特殊化された手法を凌駕する統合的フレームワークを提供すること。

提案手法

• フレームワークは、RIMD（回転不変メッシュ差分）を用いて、平行移動および回転に対して不変な方法で3次元メッシュ形状を表現する。
• 再構成損失として平均二乗誤差（MSE）を用いた完全結合ニューラルネットワークをエンコーダおよびデコーダとして使用し、幾何的詳細を保持する。
• 潜在変数上の事後分布を学習するために変分推論を採用し、形状生成のための確率的サンプリングを可能にする。
• 拡張モデルでは、事前分布に調整可能な分散パラメータを導入し、異なる潜在次元の重要性を制御する。
• 顕著な形状変動（例：ポーズやボディタイプ）に対応する潜在次元に高い分散を割り当てることで、潜在空間の分離を達成する。
• 同一の接続性を持つメッシュ上でエンドツーエンドに学習可能であり、小規模なデータセットでも効果的な表現学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 変分オートエーコーダは、変形する3次元メッシュの集合に対して、分離可能で次元が低い潜在空間を効果的に学習できるか？
• RQ2 提案されたメッシュVAEは、学習セットにない新しい高精度な3次元メッシュ形状をどれほど効果的に生成できるか？
• RQ3 個々の潜在次元を操作することで、意味のある形状補間と探索をモデルが支援できるか？
• RQ4 調整可能な事前分散を持つ拡張モデルは、学習済み形状要因の解釈可能性と制御性を向上させるか？
• RQ5 形状空間埋め込みおよび検索タスクにおいて、メッシュVAEは最先端の手法と比較してどの程度優れているか？

主な発見

• メッシュVAEは、形状空間埋め込みにおいて優れた性能を示し、検索タスクでAUC 0.5168を達成。PCA（0.2272）、t-SNE（0.4961）、NPE（0.1391）を上回る。
• モデルは1つの潜在次元に複数の変形パターンを効果的に捉え、非線形的かつマルチモーダルな形状表現を可能にする。
• 潜在空間のブラウジングにより解釈可能な制御が可能であることが明らかになった：最初の2つの次元は全体のポーズ（例：立っている状態からしゃがむ）を制御し、3番目の次元は腕の高さを、4番目の次元はボディの回転を制御する。
• 調整可能な事前分散を持つ拡張モデルにより、ボディシェイプやポーズといった重要な形状変動を、対応する潜在次元に高い分散を割り当てることで優先的に制御できる。
• 限られたデータでも、詳細で高品質な幾何的忠実度を備えた3次元メッシュモデルを生成する。
• 形状生成、補間、形状空間探索の分野で、専用の最先端手法を凌駆する性能を示し、本手法の汎用性と有効性を実証した。