[論文レビュー] Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows

Kunal Gupta, Manmohan Chandraker|arXiv (Cornell University)|Jul 21, 2020

3D Shape Modeling and Analysis参考文献 59被引用数 4

ひとこと要約

Neural Mesh Flow (NMF) は、Neural ODE を用いて球面テンプレートからの微分同相写像フローを学習することで、2D イメージまたは点群から直接高品質で2人称な3Dメッシュを生成する深層生成モデルである。この手法は構築上、メッシュの多様体性を保証し、後処理を要せず、レンダリング、シミュレーション、3Dプリントにおいて、幾何的正確性と物理的実現可能性の面で先行手法を上回る性能を発揮する。

ABSTRACT

Meshes are important representations of physical 3D entities in the virtual world. Applications like rendering, simulations and 3D printing require meshes to be manifold so that they can interact with the world like the real objects they represent. Prior methods generate meshes with great geometric accuracy but poor manifoldness. In this work, we propose Neural Mesh Flow (NMF) to generate two-manifold meshes for genus-0 shapes. Specifically, NMF is a shape auto-encoder consisting of several Neural Ordinary Differential Equation (NODE)[1] blocks that learn accurate mesh geometry by progressively deforming a spherical mesh. Training NMF is simpler compared to state-of-the-art methods since it does not require any explicit mesh-based regularization. Our experiments demonstrate that NMF facilitates several applications such as single-view mesh reconstruction, global shape parameterization, texture mapping, shape deformation and correspondence. Importantly, we demonstrate that manifold meshes generated using NMF are better-suited for physically-based rendering and simulation. Code and data are released.

研究の動機と目的

• 物理ベースのシミュレーションや3Dプリントへの応用を妨げる、最先端の3Dメッシュ生成手法における多様体性の欠如に対処すること。
• 非多様体欠陥を修正するために手動の後処理を要する既存のメッシュ生成技術の限界を克服すること。
• 微分同相写像フローの数学的性質を活用することで、メッシュ変形中に多様体性を保持する深層学習フレームワークを開発すること。
• 幾何的に正確でトポロジカルに有効な、エンドツーエンドで微分可能なメッシュ生成を実現し、実世界の応用に適すること。
• 多様体性が3Dメッシュ生成において、特に下流の物理的応用において、以前は無視されがちであった重要な特性であることを実証すること。

提案手法

• 3Dメッシュ生成プロセスを、Genus-0 の球面テンプレートメッシュからターゲット形状への微分同相写像フローとしてモデル化し、Neural Ordinary Differential Equations (NODEs) を用いる。
• インスタンス正規化を組み込んだ NODE ベースの変形ブロックの系列を用い、複数の3D形状カテゴリに一般化可能であるようにする。
• 明示的な正則化ではなく、微分同相写像の本質的性質（方向を保ち、滑らかで可逆な性質）により、多様体性を強制する。
• 幾何的忠実性と一貫した表面の向きを確保するため、Chamfer Distance と法線一貫性損失の組み合わせでモデルを訓練する。
• 生成されたメッシュの自己干渉を低減するために、後処理としてラプラシアンスムージングを適用し、干渉のない品質を向上させる。
• すべての多様体制約（エッジ、頂点、面、干渉条件）を満たすことで、単一連結で交差のない、トポロジカルに整合したメッシュを構築する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、後処理を要せず、幾何的に正確でトポロジカルに多様体な3Dメッシュを生成できるか？
• RQ2 テンプレートメッシュからの微分同相写像フローの学習は、変形中に多様体性を保つことができ、エンドツーエンドのメッシュ生成に活用できるか？
• RQ3 多様体性は、物理ベースのシミュレーション、レンダリング、3Dプリントなどの下流アプリケーションの性能にどのように影響を与えるか？
• RQ4 1つのアーキテクチャが複数の3D形状カテゴリに一般化可能でありながら、高い幾何的・トポロジカルな忠実性を維持できるか？
• RQ5 NMF は、OccNet などの暗黙的表現ベースの手法（例：OccNet）と比較して、多様体性、幾何的正確性、推論効率の面で優れているか？

主な発見

• NMF は単一視点再構成において Chamfer-L2 損失 7.82 を達成し、最良のベースラインである OccNet-3（8.33）を上回り、優れた幾何的正確性を示した。
• NMF は非多様体頂点とエッジをゼロに抑え（NM-Vertices: 0.00、NM-Edges: 0.00）、構築上、完全なトポロジカル整合性を示した。
• 本手法は非多様体面をたった 0.83 個、自己干渉を 0.12 個に抑え、多様体性指標において OccNet-3 を顕著に上回った。
• NMF が生成したメッシュは、修復処理を施さずに直接プリント可能であり、物理ベースのシミュレーションにも適していることが、3Dプリントおよびシミュレーションの結果で裏付けられた。
• NMF が生成したメッシュを用いたシミュレーションでは、真値に最も近い物理的挙動を示したのに対し、MeshRCNN は非多様体アーチファクトのため過剰に跳ね返る挙動を示した。
• ラプラシアンスムージングを適用することで、NMF は自己干渉をゼロ（0.00）に低減し、高い法線一貫性（0.837）を維持するとともに、競争力ある推論時間（292ms）を達成した。