[論文レビュー] TM-NET: Deep Generative Networks for Textured Meshes

Lin Gao, Tong Wu+4 more|arXiv (Cornell University)|Oct 13, 2020

3D Shape Modeling and Analysis参考文献 57被引用数 10

ひとこと要約

TM-NET は、部分幾何とテクスチャを別々に符号化する変分自己オートエンコーダー（VAE）を用い、部分に配慮した整合性のあるテクスチャ生成のための条件付き自己回帰的生成モデルを備えた深層生成モデルである。辞書ベースのベクトル量子化を用いて高周波数のディティールを合成し、低解像度メッシュでさえも現実的で多様なテクスチャを実現する。画像フリーの生成とテクスチャ予測が可能である。

ABSTRACT

We introduce TM-NET, a novel deep generative model for synthesizing textured meshes in a part-aware manner. Once trained, the network can generate novel textured meshes from scratch or predict textures for a given 3D mesh, without image guidance. Plausible and diverse textures can be generated for the same mesh part, while texture compatibility between parts in the same shape is achieved via conditional generation. Specifically, our method produces texture maps for individual shape parts, each as a deformable box, leading to a natural UV map with minimal distortion. The network separately embeds part geometry (via a PartVAE) and part texture (via a TextureVAE) into their respective latent spaces, so as to facilitate learning texture probability distributions conditioned on geometry. We introduce a conditional autoregressive model for texture generation, which can be conditioned on both part geometry and textures already generated for other parts to achieve texture compatibility. To produce high-frequency texture details, our TextureVAE operates in a high-dimensional latent space via dictionary-based vector quantization. We also exploit transparencies in the texture as an effective means to model complex shape structures including topological details. Extensive experiments demonstrate the plausibility, quality, and diversity of the textures and geometries generated by our network, while avoiding inconsistency issues that are common to novel view synthesis methods.

研究の動機と目的

• 画像ガイドなしで動作するテクスチャ付きメッシュのための深層生成モデルの開発。
• 異なる形状部分に別々にテクスチャを適用できる部分に配慮したテクスチャ生成の実現。
• 幾何と事前テクスチャに基づく条件付き生成により、部分間のテクスチャ適合性を確保。
• ベクトル量子化を用いた高次元潜在空間による VAE アーキテクチャで、高周波数テクスチャディティールを忠実に合成。
• 透明度をテクスチャマップに活用し、高 genus の幾何が不要な状態で、穴やスリットなどのトポロジカルな特徴を模倣する。

提案手法

• TM-NET は、メッシュの各部分を可変ボックスとして表現する PartVAE を用い、部分幾何を潜在空間に符号化する。
• 辞書ベースのベクトル量子化（VQ-VAE）を備えた TextureVAE が、高周波数ディティールの忠実な再現を実現する高次元離散潜在空間にテクスチャマップを符号化する。
• 条件付き自己回帰的生成モデルが、部分幾何と以前に生成されたテクスチャを条件としてテクスチャを逐次生成し、適合性を確保する。
• 可変ボックスを展開して UV マップを作成することで、歪みを最小限に抑え、一貫性のあるテクスチャアトラスのアライメントを実現する。
• テクスチャの透明度チャンネルを活用し、高精細な幾何が不要な状態で、穴やスリットなどのトポロジカルな特徴を模倣する。
• 本フレームワークは、複数の応用をサポートする：新規のテクスチャ付きメッシュ生成、入力メッシュのテクスチャ予測、潜在空間の補間、画像ガイド付き生成。

実験結果

リサーチクエスチョン

• RQ1 画像監視なしで、多様で妥当かつ高品質なテクスチャを 3D メッシュに生成できるか？
• RQ2 3D 形状の異なる部分間で、テクスチャの適合性を生成段階でどのように達成できるか？
• RQ3 ベクトル量子化を用いた VAE アーキテクチャで、高周波数テクスチャディティールを忠実に合成できるか？
• RQ4 テクスチャベースの視覚的錯覚は、低解像度メッシュにおいて、複雑なトポロジカル特徴をどの程度模倣できるか？
• RQ5 本モデルは、新規のテクスチャ付きメッシュの生成および潜在表現間の補間において、どの程度の性能を示すか？

主な発見

• 同じ入力メッシュに対しても、低解像度幾何でも多様で妥当なテクスチャを効果的に生成でき、強力な1対多のテクスチャマッピングを示した。
• 条件付き自己回帰的テクスチャ生成により、部分間の適合性が確保され、形状全体にわたり一貫性のないテクスチャや不整合が生じない。
• 高次元潜在空間における VQ-VAE の使用により、高周波数ディティールが効果的に再現され、標準的な VAE よりもぼやけが少なくなる。
• テクスチャの透明度を活用することで、実際の幾何がそのような特徴を持たない状態でも、スリットや穴のようなトポロジカルな特徴を現実的に模倣する。
• 潜在空間の補間により滑らかな遷移が得られ、クロスフェadingのアーチファクトは最小限に抑えられるが、車や飛行機のような複雑なテクスチャではぼやけやアーチファクトが一部に見られる。
• 失敗事例として、テーブルトップの小さなスリットのような細かな幾何的ディティールの再構成が不正確になること、および、入力テクスチャを忠実に再現しない画像ガイド付き生成が一部で観察された。