[論文レビュー] SDFDiff: Differentiable Rendering of Signed Distance Fields for 3D Shape Optimization

Yue Jiang, Dantong Ji+2 more|arXiv (Cornell University)|Dec 15, 2019

3D Shape Modeling and Analysis参考文献 54被引用数 11

ひとこと要約

SDFDiffは、3次元形状最適化のためのレイトレーシングに基づく符号付き距離関数（SDF）の微分可能レンダラーを導入し、高精度でトポロジーに柔軟かつ完全な表面再構成を可能にする。SDFに基づく微分可能レンダリングとディープラーニング、およびマルチスケール最適化戦略を組み合わせることで、マルチビューおよびシングルビュー3次元再構成において最先端の結果を達成する。

ABSTRACT

We propose SDFDiff, a novel approach for image-based shape optimization using differentiable rendering of 3D shapes represented by signed distance functions (SDFs). Compared to other representations, SDFs have the advantage that they can represent shapes with arbitrary topology, and that they guarantee watertight surfaces. We apply our approach to the problem of multi-view 3D reconstruction, where we achieve high reconstruction quality and can capture complex topology of 3D objects. In addition, we employ a multi-resolution strategy to obtain a robust optimization algorithm. We further demonstrate that our SDF-based differentiable renderer can be integrated with deep learning models, which opens up options for learning approaches on 3D objects without 3D supervision. In particular, we apply our method to single-view 3D reconstruction and achieve state-of-the-art results.

研究の動機と目的

• 符号付き距離関数（SDF）として表現された3次元形状の勾配ベース最適化を可能にする微分可能レンダラーの開発。
• メッシュやポイントクラウド表現の制限を克服し、SDFが任意のトポロジーと完全な表面を表現できる能力を活用する。
• 3次元の教師なしデータを用いずに、SDFに基づく微分可能レンダリングとディープラーニングを統合することで、高品質な3次元再構成を実現する。
• 局所的最小値を回避するマルチスケール戦略により最適化のロバスト性を向上させる。

提案手法

• 球面トレースを用いたSDFのレイトレーシングを実装し、計算効率を向上させるために、局所的なシェーディング計算のみを微分可能にする。
• SDF損失に狭帯域技術を適用し、ゼロレベルセット付近の領域に制限することで、特異性や離散化アーチファクトを回避する。
• 損失関数は画像損失、正則化損失、幾何学的損失を組み合わせており、重み付けは𝒪 = 𝒪_img + 𝒪 ⊗ (λ₁𝒪_reg + λ₂𝒪_geo) で表され、λ₁ = λ₂ = 0.02 である。
• 最適化の安定性を高め、高品質な解への収束を改善するため、マルチスケール戦略を採用する。
• ディープラーニングパイプラインと統合可能であり、教師なしシングルビュー3次元再構成のエンドツーエンド学習を可能にする。
• 3段階のトレーニングプロセスを採用：まずエンコーダデコーダを学習し、次にリファイナーネットワークで精錬し、最後に全モジュールを共同で微調整する。

実験結果

リサーチクエスチョン

• RQ1 SDFの微分可能レンダリングは、任意のトポロジーを持つマルチビュー画像からのロバストで高品質な3次元形状最適化を可能にするか？
• RQ2 SDFに基づく微分可能レンダリングは、メッシュやポイントクラウドベースの代替手法と比較して、再構成の忠実性とトポロジーの柔軟性において優れているか？
• RQ3 SDFDiffは、3次元の教師なしデータなしに、ディープラーニングモデルに効果的に統合可能か？
• RQ4 マルチスケール最適化は、SDFに基づく形状最適化における収束性の向上と局所的最小値の回避に果たす役割は何か？

主な発見

• SDFDiffは、13のカテゴリにおいてシングルビュー3次元再構成で最先端の3次元IoUスコアを達成し、大多数のケースで先行手法を上回った。
• 本手法は、複雑なトポロジー（例：細かく複雑な脚部構造を持つチェア）を効果的に再構成でき、固定トポロジーに制限される標準的なメッシュベース手法（例：SoftRasterizer）では捉えきれない形状を再現できた。
• マルチスケール戦略により、入力ビューが少ない場合でも高品質な解への収束がロバストに実現され、最適化の安定性が向上した。
• 狭帯域SDF損失は、中間軸における離散化問題や特異性を効果的に軽減し、幾何学的正確性を向上させた。
• SDFに基づく微分可能レンダリングとディープラーニングの統合により、高精細で連続的かつ完全な表面を持つ教師なし3次元再構成が実現された。
• マルチビュー再構成において、ポイントベースの微分可能レンダラーを上回る優れたロバスト性と詳細回復性能を示した。