[論文レビュー] Mesh Variational Autoencoders with Edge Contraction Pooling

Yujie Yuan, Yu‐Kun Lai+3 more|arXiv (Cornell University)|Aug 7, 2019

3D Shape Modeling and Analysis参考文献 39被引用数 4

ひとこと要約

本稿では、修正されたメッシュ簡略化アルゴリズムに基づく新しいエッジ収縮プーリング操作を備えたメッシュ変分オートエンコーダを提案し、一貫した接続性を保った3次元メッシュにおける階層的特徴抽出を可能にしている。この手法は優れた一般化性能を発揮し、高解像度モデルを処理でき、形状生成、補間、埋め込みの分野で先行研究を上回る性能を示しており、パラメータを削減するとともに幾何的詳細を保持している。

ABSTRACT

3D shape analysis is an important research topic in computer vision and graphics. While existing methods have generalized image-based deep learning to meshes using graph-based convolutions, the lack of an effective pooling operation restricts the learning capability of their networks. In this paper, we propose a novel pooling operation for mesh datasets with the same connectivity but different geometry, by building a mesh hierarchy using mesh simplification. For this purpose, we develop a modified mesh simplification method to avoid generating highly irregularly sized triangles. Our pooling operation effectively encodes the correspondence between coarser and finer meshes in the hierarchy. We then present a variational auto-encoder structure with the edge contraction pooling and graph-based convolutions, to explore probability latent spaces of 3D surfaces. Our network requires far fewer parameters than the original mesh VAE and thus can handle denser models thanks to our new pooling operation and convolutional kernels. Our evaluation also shows that our method has better generalization ability and is more reliable in various applications, including shape generation, shape interpolation and shape embedding.

研究の動機と目的

• メッシュベースのディープラーニングにおける有効なプーリング操作の欠如が、受容 field の拡大とモデルの一般化性能を制限しているという問題に対処すること。
• 一貫した接続性を持つ高解像度3次元メッシュ上で、効率的かつパラメータ効率の良い学習を可能にすること。
• エンド・ツー・エンドの学習を可能にするために、粗いメッシュと細かいメッシュレベル間の対応関係を保持するプーリング機構を開発すること。
• グラフ畳み込みと修正されたメッシュ簡略化プロセスを統合することで、メッシュ変分オートエンコーダの性能を向上させること。
• 従来の手法と比較して、形状生成、補間、低次元埋め込みにおける能力向上を実証すること。

提案手法

• 幾何的およびトポロジカルな制約に基づき、歪みの大きい三角形を避けるためにエッジの収縮を優先する、修正されたメッシュ簡略化アルゴリズムを提案する。
• 階層内の連続するメッシュレベル間で明示的な頂点対応関係を維持するエッジ収縮プーリング操作を導入する。
• 頂点ベースの変形表現における特徴抽出を目的とした、グラフ畳み込み層を備えた変分オートエンコーダアーキテクチャを採用する。
• 同じ接続性を持つメッシュ間での一貫した処理を可能にするために、3次元座標の代わりに各頂点の特徴表現（変形勾配）を入力として使用する。
• 保存された対応マップを用いて、潜在変数から高解像度メッシュを再構築するデプーリング操作を設計する。
• 局所的な幾何的パターンを捉えるとともに、メッシュ階層を介した階層的特徴抽象化を可能にするグラフ畳み込みを適用する。

実験結果

リサーチクエスチョン

• RQ1 メッシュ簡略化に基づくプーリング操作は、深層学習において粗いメッシュと細かいメッシュレベル間の対応関係を効果的に符号化できるか？
• RQ2 完全結合層と比較して、エッジ収縮プーリングはメッシュVAEにおける一般化性能とパラメータ効率をどのように向上させるか？
• RQ3 提案手法は、従来のメッシュVAEでは処理が困難な高解像度メッシュをどの程度処理できるか？
• RQ4 最先端の手法と比較して、本手法は形状補間および潜在空間埋め込みにおいてどの程度の性能を発揮するか？
• RQ5 本フレームワークは、多様な3次元形状の変形において、幾何的正確性と構造的一致性を維持できるか？

主な発見

• 提案手法は、完全結合層に依存する元のMeshVAEと比較して、より優れた一般化性能と再構成品質を達成している。
• 効率的なプーリングと畳み込み操作のおかげで、42,321個の頂点を有する密度の高いメッシュでさえ、メモリ制約により処理が困難なMeshVAEでは不可能だった。
• 補間結果では、アーチファクトや余分な運動を伴わず、滑らかで自然な運動シーケンスが得られ、MeshVAEおよびデータ駆動型手法[8]を上回っている。
• 図12および図13に示すように、複雑な形状や非ヒューマンな形状間でも、高品質で詳細な形状生成および補間を実現している。
• 潜在空間の可視化により、本手法は内在的な周期的運動パターンを効果的に捉えており、t-SNE や PCA とは異なり、2次元埋め込みで一貫した円形の構造を形成している。
• 本フレームワークは、形状埋め込みにおいて頑健であることが示され、類似した形状やポーズがグループ化されつつも、構造的および変形的関係が保持されている。