[論文レビュー] DeepMesh: Differentiable Iso-Surface Extraction

Benoît Guillard, Edoardo Remelli+5 more|arXiv (Cornell University)|Jun 20, 2021

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

DeepMeshは、深層暗黙関数から明示的な3次元表面メッシュを抽出するエンドツーエンド微分可能な手法を導入し、等高線抽出を通じた勾配ベース最適化を可能にする。表面サンプルの暗黙関数に関する閉形式導関数を導出することで、マーチング・キューブスの非微分可能性を克服し、異なる可視化や形状最適化といった応用が可能になる。任意のトポロジーと無制限の解像度を維持する。

ABSTRACT

Geometric Deep Learning has recently made striking progress with the advent of continuous deep implicit fields. They allow for detailed modeling of watertight surfaces of arbitrary topology while not relying on a 3D Euclidean grid, resulting in a learnable parameterization that is unlimited in resolution. Unfortunately, these methods are often unsuitable for applications that require an explicit mesh-based surface representation because converting an implicit field to such a representation relies on the Marching Cubes algorithm, which cannot be differentiated with respect to the underlying implicit field. In this work, we remove this limitation and introduce a differentiable way to produce explicit surface mesh representations from Deep Implicit Fields. Our key insight is that by reasoning on how implicit field perturbations impact local surface geometry, one can ultimately differentiate the 3D location of surface samples with respect to the underlying deep implicit field. We exploit this to define DeepMesh - an end-to-end differentiable mesh representation that can vary its topology. We validate our theoretical insight through several applications: Single view 3D Reconstruction via Differentiable Rendering, Physically-Driven Shape Optimization, Full Scene 3D Reconstruction from Scans and End-to-End Training. In all cases our end-to-end differentiable parameterization gives us an edge over state-of-the-art algorithms.

研究の動機と目的

• マーチング・キューブスのような標準的な等高線抽出手法が深層暗黙関数に適用された際の非微分可能性を解消すること。
• 連続的な暗黙関数から導出される明示的メッシュ表現のエンドツーエンド微分可能な最適化を可能にすること。
• CFDシミュレーション、物理ベースレンダリング、形状最適化などの明示的表面幾何を必要とする応用を支援しながら、暗黙関数の解像度とトポロジーの柔軟性を維持すること。
• 符号付き距離関数にとどまらず、占有度フィールドを含む一般の暗黙関数へと微分可能なメッシュ抽出を拡張すること。
• 微分可能なメッシュ抽出が、非微分可能または暗黙関数のみのベースラインと比較して、下流タスクで優れたパフォーマンスを発揮することを示すこと。

提案手法

• 多変数微積分を用いて、等高線抽出アルゴリズムに依存しない形で、3次元表面サンプルの暗黙関数に関する閉形式導関数を導出する。
• 非微分可能な等高線抽出手法（例：マーチング・キューブス）を用いてメッシュを生成し、導出した解析的導関数を用いて表面サンプルを通じて勾配を逆伝播する。
• 計算負荷を低減するための粗くから細かくへの戦略を採用し、高解像度グリッド上での効率的な学習を可能にする。
• 微分可能なレンダリングやチェンファード距離最適化といったエンドツーエンド学習パイプラインに、微分可能なメッシュ抽出を統合する。
• 固定グリッドや固定トポロジーの制約を回避することで、任意のメッシュトポロジーと無制限の解像度をサポートする。
• 符号付き距離関数と占有度フィールドの両方へ適用可能であり、暗黙表現タイプへの応用範囲を広げる。

実験結果

リサーチクエスチョン

• RQ1 トポロジーの柔軟性と無制限の解像度を維持しながら、深層暗黙関数からのエンドツーエンド微分可能な等高線抽出が達成可能か？
• RQ2 等高線抽出アルゴリズムが非微分可能であっても、暗黙関数の摂動に対して表面サンプルを解析的に微分する方法は何か？
• RQ3 微分可能なメッシュ抽出は、3次元再構成や形状最適化といった明示的表面表現を必要とするタスクでパフォーマンスを向上させるか？
• RQ4 符号付き距離関数にとどまらず、占有度フィールドのような一般の暗黙関数へもこの手法を拡張可能か？
• RQ5 暗黙関数値の直接的監視と比較して、微分可能なメッシュ抽出の計算オーバーヘッドはどの程度か？

主な発見

• DeepMeshは、暗黙関数損失に加えてチェンファード距離を最小化することで、ランプのような細い構造を有する複雑な形状の3次元再構成品質を顕著に向上させる。
• ShapeNetランプカテゴリにおいて、非微分可能なベースラインと比較して、チェンファード距離誤差を最大30％まで低減し、表面の整合性が向上していることを示している。
• 最適化された等高線抽出により、V100 GPU上での前方伝搬時間が29msにまで短縮され、ネイティブな方法の785msから実用的な水準にまでオーバーヘッドが削減された。
• バックワードパスでは、体積全体ではなく表面ポイントのみを通じて勾配を逆伝播するため、暗黙関数値の直接的監視よりもわずかに高速である。
• DeepMeshは、1視点3次元再構成および空力的形状最適化のエンドツーエンド学習に成功し、非微分可能なメッシュ抽出に依存する最先端手法を上回っている。
• 本手法は任意のメッシュトポロジーをサポートしており、固定グリッドやメッシュ構造の制限がないため、最適化中に動的なトポロジー変更が可能である。