[論文レビュー] SALD: Sign Agnostic Learning with Derivatives

Matan Atzmon, Yaron Lipman|arXiv (Cornell University)|Jun 9, 2020

3D Shape Modeling and Analysis参考文献 44被引用数 5

ひとこと要約

SALDは、符号に依存しない学習手法を導入し、符号なし距離関数の値とその勾配をニューラルネットワークの損失関数に組み込むことで、方向が定まっていない点群やトライアングルスープなどの生の3Dデータから高精度な暗黙的表面再構成を実現する。この手法は、関数値と勾配を統合した符号に依存しない回帰損失により、詳細の保持を向上させるとともに、不要な表面シートの発生を最小限に抑えることで、ShapeNetおよびD-Faustで最先端の結果を達成する。

ABSTRACT

Learning 3D geometry directly from raw data, such as point clouds, triangle soups, or unoriented meshes is still a challenging task that feeds many downstream computer vision and graphics applications. In this paper, we introduce SALD: a method for learning implicit neural representations of shapes directly from raw data. We generalize sign agnostic learning (SAL) to include derivatives: given an unsigned distance function to the input raw data, we advocate a novel sign agnostic regression loss, incorporating both pointwise values and gradients of the unsigned distance function. Optimizing this loss leads to a signed implicit function solution, the zero level set of which is a high quality and valid manifold approximation to the input 3D data. The motivation behind SALD is that incorporating derivatives in a regression loss leads to a lower sample complexity, and consequently better fitting. In addition, we prove that SAL enjoys a minimal length property in 2D, favoring minimal length solutions. More importantly, we are able to show that this property still holds for SALD, i.e., with derivatives included. We demonstrate the efficacy of SALD for shape space learning on two challenging datasets: ShapeNet that contains inconsistent orientation and non-manifold meshes, and D-Faust that contains raw 3D scans (triangle soups). On both these datasets, we present state-of-the-art results.

研究の動機と目的

• 点群やトライアングルスープなどの方向が定まっていない、または非多様体な生の3Dデータから、直接的に暗黙的ニューラル表現を学習する課題に対処すること。
• 符号に依存しない回帰損失に関数値と勾配を統合することで、表面再構成の品質を向上させ、サンプルの複雑さを低減し、一般化性能を向上させること。
• 符号に依存しない学習における最小表面特性を理論的に裏付け、実験的に検証することにより、欠損データや穴がある領域で、ゼロレベルセットが最小面積解を優遇することを保証すること。
• 教師データとしての符号付き距離関数や事前処理を必要とせず、ShapeNet や D-Faust などの困難なデータセットで最先端の性能を達成すること。

提案手法

• 符号の不確かさを許容する新しい符号に依存しない回帰損失を提案し、符号なし距離関数の値とその勾配を同時に回帰する。
• 符号の変更に対して不変な損失関数を用い、符号なし距離関数 h(x) 及びその勾配 ∇h(x) から符号付き暗黙関数をニューラルネットワークが予測する。
• 確率的勾配降下法を用いて損失を最適化し、ゼロレベルセットが真の表面を近似する符号付き距離関数を回復する。
• 理論的分析により、2次元では損失がデータポイント間で直線的なゼロレベルセットを優遇することが示され、これはSALDにより3次元へ拡張可能である。
• ShapeNetにおける形状空間の学習に変分オートエンコーダーを活用し、潜在空間の補間により新規で詳細な3次元形状の生成を可能にする。
• 教師データとしての法線や一貫した方向性を必要とせず、入力点群またはメッシュへの符号なし距離関数のみを用いて、生のデータ上でエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 符号に依存しない学習に導関数を組み込むことで、生の3Dデータからの暗黙的ニューラル表面表現の精度と詳細性が向上するか？
• RQ2 勾配情報の統合により、暗黙的形状学習におけるサンプルの複雑さが低減され、一般化性能が向上するか？
• RQ3 導関数を損失に組み込む場合でも、欠損データ領域で最小面積のゼロレベルセットを優遇する最小表面特性が保持されるか？
• RQ4 SALDは、法線が一貫しない、非多様体な幾何構造を有するShapeNet や D-Faust といったデータセットで最先端の性能を達成できるか？

主な発見

• D-Faustデータセットにおいて、SALDは平均チェンバーディスタンス 0.397×10² および平均法線距離 7.884 を達成し、SAL や IGR よりも詳細性とノイズ回避のバランスに優れた最先端の結果を示した。
• SALDはSALで観察された最小表面特性を維持しており、IGRが高すぎる平均チェンバーディスタンス 3.806×10² を示すのに対し、不要な表面シートの発生を回避した。
• ShapeNetでは、SALを上回る詳細な再構成を実現し、IGRが見られる過学習やゴースト幾何構造を回避した。
• D-Faustにおける潜在空間の補間により、顔と体の特徴を混合した新規で現実的な3次元形状の生成が可能であることが示された。
• 理論的分析により、2次元ではSALD損失がデータポイント間で直線的なゼロレベルセットを優遇することが確認され、これは3次元へと拡張可能である。
• 開口部や細い構造の処理には限界があるものの、事前処理や教師データとしての法線を必要とせず、多様な生の3D入力に対し、強力な性能を示した。