[論文レビュー] MeshSDF: Differentiable Iso-Surface Extraction

Edoardo Remelli, Artem Lukoianov+5 more|arXiv (Cornell University)|Jun 6, 2020

3D Shape Modeling and Analysis参考文献 55被引用数 22

ひとこと要約

MeshSDF は、深層符号付き距離関数（SDF）からメッシュ生成にまでエンドツーエンドのバックプロパゲーションを可能にする、微分可能な等値面抽出手法を導入した。従来のアルゴリズム（例：Marching Cubes）の非微分性を克服し、暗黙的フィールドからの表面サンプルの勾配を閉形式で導出することで、トポロジー変化を許容する高解像度のメッシュ最適化が可能になった。単一視点再構成や空力形状設計のタスクにおいて、精度と効率の両面で最先端の手法を上回る性能を発揮した。

ABSTRACT

Geometric Deep Learning has recently made striking progress with the advent of continuous Deep Implicit Fields. They allow for detailed modeling of watertight surfaces of arbitrary topology while not relying on a 3D Euclidean grid, resulting in a learnable parameterization that is not limited in resolution. Unfortunately, these methods are often not suitable for applications that require an explicit mesh-based surface representation because converting an implicit field to such a representation relies on the Marching Cubes algorithm, which cannot be differentiated with respect to the underlying implicit field. In this work, we remove this limitation and introduce a differentiable way to produce explicit surface mesh representations from Deep Signed Distance Functions. Our key insight is that by reasoning on how implicit field perturbations impact local surface geometry, one can ultimately differentiate the 3D location of surface samples with respect to the underlying deep implicit field. We exploit this to define MeshSDF, an end-to-end differentiable mesh representation which can vary its topology. We use two different applications to validate our theoretical insight: Single-View Reconstruction via Differentiable Rendering and Physically-Driven Shape Optimization. In both cases our differentiable parameterization gives us an edge over state-of-the-art algorithms.

研究の動機と目的

• 深層暗黙的フィールドを明示的メッシュ表現に変換する際の Marching Cubes の非微分性を解決すること。
• 任意のトポロジーを許容する明示的表面メッシュ上でエンドツーエンド微分可能な最適化を実現し、トポロジカルな柔軟性と高解像度を維持すること。
• 明示的幾何形状を必要とする応用分野（例：微分可能なレンダリングや CFD を用いた形状最適化）における微分可能なメッシュパラメータライゼーションの有効性を示すこと。
• 抽出アルゴリズムに依存しない、暗黙的フィールドに関する表面サンプルの閉形式勾配を理論的に裏付けられた形で提供すること。
• SDF の表現力とメッシュベース表現の互換性を組み合わせることで、複雑な物理シミュレーションおよびビジョンタスクにおける強固で効率的な最適化を可能にすること。

提案手法

• 深層 SDF に対する 3D 表面サンプルの勾配の閉形式解析的表現を導出し、メッシュ抽出プロセスを介したバックプロパゲーションを可能にする。
• 非微分可能な等値面抽出法（例：Marching Cubes）を用いてメッシュを生成し、導出した勾配式を用いてカスタムのバックワードパスを適用する。
• 微分可能なラスタライゼーションパイプラインを採用することで、単一視点再構成における微分可能なレンダリングおよびシルエットベース最適化を実現する。
• 最近接隣接潜在コードに基づく潜在空間正則化損失を導入し、形状空間における最適化の安定性と一般化性能を向上させる。
• 物理駆動最適化（例：CFD シミュレーションにおける圧力ドラッグ最小化）において、MeshSDF パラメータライゼーションを正則化子として適用する。
• 最適化に Adam オプティマイザーを用い、多様なタスクにわたる収束性とロバスト性を確保するためのハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 深層 SDF の等値面抽出プロセスを微分可能にすることで、微分可能なメッシュ表現を生成することは可能か？
• RQ2 暗黙的フィールドに関する表面サンプルの閉形式勾配は、任意のトポロジーを持つメッシュ上でエンドツーエンド最適化を可能にするか？
• RQ3 微分可能なレンダリングを用いた単一視点 3D 再構成において、MeshSDF は非微分可能なメッシュベース手法を上回る性能を発揮するか？
• RQ4 MeshSDF は、空力ドラッグ最小化などの物理ベース形状最適化において、効果的な正則化子として機能するか？
• RQ5 効率性と精度の観点から、MeshSDF の微分可能性は、代替の微分可能なレンダリングまたは暗黙的フィールド手法と比較して優れているか？

主な発見

• 単一視点再構成において、MeshSDF は 0.004625 のシルエット L2 距離を達成し、同等の設定下で Liu et al. (2020) の 0.005973 を上回った。
• ネットワーククエリ数を 898k（スフィアトレーシング）から 266k に削減し、関数評価回数を 76% 減少させた。
• 1 レンダリングあたり 0.29 秒で実行可能であり、Liu et al. の 1.24 秒と比較して 77% の高速化を達成した。これは三角形の並列ラスタライゼーションによるものである。
• CFD を用いた空力最適化において、MeshSDF は車両形状を圧力ドラッグ最小化に向けて効果的に精錬でき、物理駆動設計における有効性を示した。
• 固定トポロジーの代替手法とは異なり、最適化中にトポロジーの変化を許容でき、初期形状の違いに対してもロバストであることが確認された。
• k=10 および α=0.2 の潜在空間正則化により、最適化の安定性とリアリズムが向上したが、潜在空間における局所最適解の問題は依然として課題である。