[論文レビュー] Neural Volumetric Mesh Generator

Yan Zheng, Lemeng Wu+4 more|arXiv (Cornell University)|Oct 6, 2022

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

本稿では、神経体積メッシュ生成器（NVMG）を提案する。NVMGは、2段階の拡散ベースの生成モデルであり、まず高精細なボクセル化形状を合成し、次に正則化を考慮した最適化を用いてトライアングルメッシュを神経予測された暗黙的表面に適合させる。この手法により、アーチファクトのない物理的に安定した体積メッシュが得られ、表面および内部の詳細が豊かで、非条件的および条件付きメッシュ生成タスクの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Deep generative models have shown success in generating 3D shapes with different representations. In this work, we propose Neural Volumetric Mesh Generator(NVMG) which can generate novel and high-quality volumetric meshes. Unlike the previous 3D generative model for point cloud, voxel, and implicit surface, the volumetric mesh representation is a ready-to-use representation in industry with details on both the surface and interior. Generating this such highly-structured data thus brings a significant challenge. We first propose a diffusion-based generative model to tackle this problem by generating voxelized shapes with close-to-reality outlines and structures. We can simply obtain a tetrahedral mesh as a template with the voxelized shape. Further, we use a voxel-conditional neural network to predict the smooth implicit surface conditioned on the voxels, and progressively project the tetrahedral mesh to the predicted surface under regularizations. The regularization terms are carefully designed so that they can (1) get rid of the defects like flipping and high distortion; (2) force the regularity of the interior and surface structure during the deformation procedure for a high-quality final mesh. As shown in the experiments, our pipeline can generate high-quality artifact-free volumetric and surface meshes from random noise or a reference image without any post-processing. Compared with the state-of-the-art voxel-to-mesh deformation method, we show more robustness and better performance when taking generated voxels as input.

研究の動機と目的

• 既存の深層生成モデルでは困難な、ノイズまたは画像から直接高品質で物理的に妥当な体積メッシュを生成する課題に対処すること。
• 変形中に発生する幾何的欠陥（反転、自己交差、高歪み）を回避するため、変形プロセス中に新たな正則化方式を導入すること。
• 拡散ベースのボクセル合成と神経的条件付き表面予測、最適化ベースのメッシュ変形を統合することで、エンドツーエンドの詳細な体積メッシュ生成を実現すること。
• 物理シミュレーションや3D編集に適した、後処理を要しない即時利用可能なメッシュ表現を提供すること。

提案手法

• 拡散モデルが、現実的で構造的なアウトラインを持つ初期のボクセル化形状を生成し、メッシュ生成の基盤を提供する。
• ボクセルを条件とする神経ネットワークが、生成されたボクセルに基づき滑らかな暗黙的表面を予測し、幾何的詳細のガイドラインを提供する。
• 段階的なメッシュ変形パイプラインが、微分可能最適化プロセスを用いて、トライアングルメッシュテンプレートを予測された表面に射影する。
• 投影、滑らかさ、方向性制約といった正則化項を統合し、反転や歪みの低減、細い構造の保持を実現する。
• 最適化プロセスは微分可能であり、神経予測とシームレスに統合され、高精細なメッシュ生成を可能にする。
• ノイズからの非条件的生成と、リファレンス画像からの条件付き生成の両方をサポートし、ボクセル操作によるインタラクティブ編集も可能である。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのモデルは、体積メッシュ生成の基盤として信頼性のある構造的ボクセル化形状を効果的に生成できるか？
• RQ2 神経予測と最適化をどのように統合すれば、表面および内部の詳細を備えた高品質でアーチファクトのない体積メッシュを生成できるか？
• RQ3 メッシュ変形中に反転や歪みを防ぐために、どの正則化戦略が最も効果的か？
• RQ4 提案手法は、細かな幾何的特徴を保持しつつ、条件付き画像からメッシュへの変換に一般化可能か？
• RQ5 提案されたメッシュ変形パイプラインは、最先端のボクセルからメッシュへの変換手法と比較して、頑健さと忠実度の面で優れているか？

主な発見

• NVMGは、画像からメッシュへの再構成において最先端の性能を達成し、チェアではチェイミング距離が0.471、テーブルでは0.342、ベンチでは0.439を記録。Pixel2Mesh、GEOMetrics、DeepMeshを上回る。
• アブレーションスタディにより、頑健な投影と方向性正則化が、反転した四面体と歪んだ三角形を顕著に低減し、メッシュ品質を向上させることを確認した。
• 方向性および滑らかさ項の導入により、細い構造が消失するのを防ぎ、物理的妥当性と構造的整合性が向上した。
• 後処理を一切行わず、表面および内部の幾何形状の高忠実度を維持した、アーチファクトのない体積メッシュを生成した。
• ボクセル表現のユーザーエディットが、即座に高品質なメッシュ更新をもたらし、インタラクティブ3Dデザインに適したフレームワークであることを示した。
• 最適化ベースの変形パイプラインは、特に挑戦的な形状配置下でも、既存のボクセルからメッシュへの変換手法よりも高い頑健性を示した。