[論文レビュー] DUDE: Deep Unsigned Distance Embeddings for Hi-Fidelity Representation of Complex 3D Surfaces

Rahul Venkatesh, Sarthak Sharma+3 more|arXiv (Cornell University)|Nov 4, 2020

3D Shape Modeling and Analysis参考文献 28被引用数 11

ひとこと要約

DUDE は、符号なし距離関数（uDF）と法線ベクトル場（nVF）を用いた深層学習ベースの 3D 形状表現を提案し、高精度に開いた形状および閉じた形状をモデル化する。従来の方法が水密メッシュを必要とするのに対し、DUDE はノイズの多い三角形スパムから直接学習し、DeepSDF や SAL よりも優れた性能を示し、複雑で開いた、トポロジーが複雑な表面の再構築において正確な法線と少ないアーティファクトを実現する。

ABSTRACT

High fidelity representation of shapes with arbitrary topology is an important problem for a variety of vision and graphics applications. Owing to their limited resolution, classical discrete shape representations using point clouds, voxels and meshes produce low quality results when used in these applications. Several implicit 3D shape representation approaches using deep neural networks have been proposed leading to significant improvements in both quality of representations as well as the impact on downstream applications. However, these methods can only be used to represent topologically closed shapes which greatly limits the class of shapes that they can represent. As a consequence, they also often require clean, watertight meshes for training. In this work, we propose DUDE - a Deep Unsigned Distance Embedding method which alleviates both of these shortcomings. DUDE is a disentangled shape representation that utilizes an unsigned distance field (uDF) to represent proximity to a surface, and a normal vector field (nVF) to represent surface orientation. We show that a combination of these two (uDF+nVF) can be used to learn high fidelity representations for arbitrary open/closed shapes. As opposed to prior work such as DeepSDF, our shape representations can be directly learnt from noisy triangle soups, and do not need watertight meshes. Additionally, we propose novel algorithms for extracting and rendering iso-surfaces from the learnt representations. We validate DUDE on benchmark 3D datasets and demonstrate that it produces significant improvements over the state of the art.

研究の動機と目的

• 既存の暗黙的 3D 表現が訓練のための水密で閉じた形状を必要とするという制限を解消すること。
• 穴を埋める前処理を必要とせず、ノイズの多い開いた三角形スパムから高精度な 3D 形状の学習を可能にすること。
• レンダリングや下流タスクにとって重要な、複雑で開いた形状の表面法線推定を改善すること。
• uDF と nVF を組み合わせた分離可能な表現を開発し、正確な等値面抽出とレンダリングを可能にすること。
• 最先端手法と比較して、ベンチマークデータセット上で開いた形状およびトポロジーが複雑な形状の再構築において優れた性能を示すこと。

提案手法

• 閉じた表面および開いた表面の両方に対して定義可能な符号なし距離関数（uDF）を主な形状表現として提案し、水密な幾何構造を必要とする符号付き距離関数とは異なり、両者に共通して適用可能である。
• 表面で微分不能な uDF に対しても安定的かつ正確な表面法線推定を可能にするために、別個の深層ニューラルネットワークを用いて法線ベクトル場（nVF）を予測する。
• uDF と nVF を、距離と法線の一貫性を最小化する損失関数を用いて同時に学習させ、クリーンで水密なメッシュへの前処理を必要としない、方向が定まっていない原始的な三角形スパムから学習可能にする。
• 標準的または再サンプリングに基づく手法よりも計算量が少なく、交差精度を向上させる新規な球面トレース戦略「Projection」を考案し、等値面抽出を改善する。
• uDF と nVF を潜在変数 z で条件づけることで、スパarsな点群からのゼロショット再構築を可能にする形状空間の学習を実現する。
• nVF を用いた微分可能なレンダリングパイプラインを採用し、高品質なレイトレースレンダリングを実現し、学習済み法線の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク表現は、任意のトポロジーを持つ開いた形状および閉じた形状を効果的にモデル化できるか？
• RQ2 微分可能な符号付き距離関数に依存せずに、信頼性の高い高精度な表面法線を推定できるか？
• RQ3 水密メッシュの前処理を必要とせず、ノイズの多い方向が定まっていない三角形スパムから 3D 形状表現を直接学習できるか？
• RQ4 uDF と nVF を組み合わせることで、既存の暗黙的表現よりも優れた等値面抽出とレンダリング品質が得られるか？
• RQ5 潜在形状空間を介して学習済み表現が未観測形状に一般化可能であり、点群からのゼロショット再構築を可能にするか？

主な発見

• DUDE は、ShapeNet ランプクラスのホールドアウトテストセットにおいて、平均チャーム距離 1.67e-3 を達成し、SAL の 1.84e-3 を上回る性能を示した。
• 提案された「Projection」球面トレース法は、標準的手法および計算コストの高い「Resample」ベースラインと比較して、計算量が 100 倍少ないにもかかわらず、より低い深度誤差を達成した。
• 学習済み nVF を用いたレイトレースレンダリングは、uDF の勾配を用いた手法よりも視覚的に優れた結果を生み出し、不正確な法線とアーティファクトを回避した。
• DUDE は、ランプの隙間のような開いた領域を正しくモデル化する一方で、SAL はそれらを誤って閉じてしまうため、意図したトポロジーを保持できる能力を示した。
• モデルは、水密メッシュへの前処理を必要とせず、ノイズの多い三角形スパムから直接高精度な表現を学習した。
• 分離可能な uDF + nVF 表現により、複雑なトポロジーおよび開いた表面でも正確な表面再構築と高品質なレンダリングが可能となった。