[論文レビュー] DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation

Jeong Joon Park, Pete Florence+3 more|arXiv (Cornell University)|Jan 15, 2019

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

DeepSDF は、3次元形状のためのニューラルネットワークベースの連続的な符号付き距離関数（SDF）表現を提案し、潜在コードに依存するデコーダーを学習することで、形状クラス全体を暗黙的に表現する。7.4 MB のコンactなモデルサイズで、従来の手法と比較してメモリ使用量を顕著に削減しながら、3次元形状再構築および補完において最先端の性能を達成している。

ABSTRACT

Computer graphics, 3D computer vision and robotics communities have produced multiple approaches to representing 3D geometry for rendering and reconstruction. These provide trade-offs across fidelity, efficiency and compression capabilities. In this work, we introduce DeepSDF, a learned continuous Signed Distance Function (SDF) representation of a class of shapes that enables high quality shape representation, interpolation and completion from partial and noisy 3D input data. DeepSDF, like its classical counterpart, represents a shape's surface by a continuous volumetric field: the magnitude of a point in the field represents the distance to the surface boundary and the sign indicates whether the region is inside (-) or outside (+) of the shape, hence our representation implicitly encodes a shape's boundary as the zero-level-set of the learned function while explicitly representing the classification of space as being part of the shapes interior or not. While classical SDF's both in analytical or discretized voxel form typically represent the surface of a single shape, DeepSDF can represent an entire class of shapes. Furthermore, we show state-of-the-art performance for learned 3D shape representation and completion while reducing the model size by an order of magnitude compared with previous work.

研究の動機と目的

• 形状クラス全体に一般化可能な連続的で微分可能かつコンactな3次元形状表現の開発。
• 深層学習を用いて部分的またはノイズの多い入力データから高品質な3次元形状再構築および補完を可能にする。
• 従来の暗黙的または明示的な3次元表現と比較して、再構築の忠実度を維持または向上させつつモデルサイズを削減する。
• 1つの学習済み SDF ネットワークが、共有された潜在空間を用いて数千の形状を表現できることを示すこと。
• 連続的な SDF 評価により、潜在空間内での形状の補間および新規形状の生成を可能にする。

提案手法

• フィードフォワードニューラルネットワークを訓練し、学習済みの潜在コードベクトルに従って、任意の3次元座標における符号付き距離値を予測する。
• 形状の再構築を最適化するため、確率的オートデコーダーのフレームワークを採用し、形状表面の内側および外側のサンプリング点における再構築損失を最小化する。
• SDF は、ネットワーク出力のゼロレベル集合として暗黙的に定義され、負の値は内部、正の値は外部、ゼロは表面を示す。
• 訓練データは、真値形状からサンプリングされた3次元点と、それに対応する SDF 値（内側および外側の両方を含む）から構成される。
• 潜在コードは勾配降下法により最適化され、未学習の形状を再構築可能となり、ゼロショットの形状表現が実現する。
• 任意の3次元位置で連続的かつ微分可能な SDF 評価が可能であり、レイトレーシングによる高精度なレンダリングおよび表面抽出が可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、3次元形状クラス全体に一般化可能な連続的で汎用的な SDF 表現を学習できるか？
• RQ2 提案手法は、既存の3次元形状表現技術と比較して、再構築および補完の品質でどの程度優れているか？
• RQ3 学習済み潜在空間は、補間および新規で現実的であると見なせる3次元形状の生成をどの程度可能にするか？
• RQ4 ボクセルベースやメッシュベースの代替手法と比較して、提案手法のメモリ効率はどの程度か？
• RQ5 潜在コードの最適化により、学習セットに含まれない未確認の形状に一般化できるか？

主な発見

• DeepSDF は、複数の ShapeNet カテゴリにおいて、3次元形状再構築および補完で最先端の性能を達成し、すべての指標で従来手法を上回った。
• チェアクラスでは、メッシュ補完スコアが 0.947、コサイン類似度が 0.896 となり、AtlasNet-Sph（0.668 および 0.790）および AtlasNet-25（0.723 および 0.797）を顕著に上回った。
• プレーンクラスではメッシュ補完が 0.970、テーブルクラスでは 0.982 を達成し、複雑なトポロジーの再構築において高い忠実度を示した。
• DeepSDF は、数千の3次元形状を含む1つの形状クラスを表現するのにわずか 7.4 MB のメモリしか必要とせず、1つの未圧縮 512³ ボクセルグリッド（16.8 MB）の半分未満であった。
• 潜在コードの最適化により、未学習のテスト形状が成功裏に再構築され、学習済み潜在空間の一般化能力および表現力が裏付けられた。
• ソファクラスでは高いコサイン類似度（0.917）を達成し、正確な法線推定と表面の一貫性を示した。