[論文レビュー] PermutoSDF: Fast Multi-View Reconstruction with Implicit Surfaces using Permutohedral Lattices

Radu Alexandru Roşu, Sven Behnke|arXiv (Cornell University)|Nov 22, 2022

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

本稿では、ハッシュベースの符号化とパーミュータヘドラル格子を用いた効率的な高次元特徴補間を組み合わせた、高速で詳細なマルチビュー再構成手法であるPermutoSDFを提案する。この手法は、インパルシットな符号付き距離関数（SDF）を用い、RTX 3090で30 fpsのリアルタイム新規ビュー再構成を達成するとともに、RGB画像のみから微細な幾何的詳細（孔やしわなど）を回復でき、幾何的正確性と学習速度の面で先行手法を上回る。

ABSTRACT

Neural radiance-density field methods have become increasingly popular for the task of novel-view rendering. Their recent extension to hash-based positional encoding ensures fast training and inference with visually pleasing results. However, density-based methods struggle with recovering accurate surface geometry. Hybrid methods alleviate this issue by optimizing the density based on an underlying SDF. However, current SDF methods are overly smooth and miss fine geometric details. In this work, we combine the strengths of these two lines of work in a novel hash-based implicit surface representation. We propose improvements to the two areas by replacing the voxel hash encoding with a permutohedral lattice which optimizes faster, especially for higher dimensions. We additionally propose a regularization scheme which is crucial for recovering high-frequency geometric detail. We evaluate our method on multiple datasets and show that we can recover geometric detail at the level of pores and wrinkles while using only RGB images for supervision. Furthermore, using sphere tracing we can render novel views at 30 fps on an RTX 3090. Code is publicly available at: https://radualexandru.github.io/permuto_sdf

研究の動機と目的

• スペキュラーまたは無テクスチャ領域において、密度ベースのNeRF手法が正確な表面幾何を回復できないという限界を解消すること。
• 孔やしわのような高周波数の幾何的詳細を保持できないという、既存のSDFベース手法の過剰な平滑化問題を克服すること。
• ボクセルハッシングの代わりによりスケーラブルなパーミュータヘドラル格子構造を導入することで、ニューラルインパルシット表面表現における学習と推論の高速化を図ること。
• 微細な幾何的詳細を保持しつつ、必要な箇所では表面の滑らかさを維持する正則化スキームの開発。
• 時間変化する表面を4次元的に効率的にモデリングするため、格子構造を高次元に拡張すること。

提案手法

• INGPにおけるボクセルハッシュ符号化を、次元数に線形にスケーリングされ、高次元特徴空間における補間を高速化するパーミュータヘドラル格子に置き換える。
• パーミュータヘドラル格子におけるハッシュベースの特徴照会を用いて、クエリポイントにおける補間特徴を効率的に計算し、計算オーバーヘッドを低減する。
• シーンをニューラルSDFとカラーフィールドとして表現し、両者をパーミュータヘドラル格子で符号化し、浅いMLPによって復号してボリュメトリックレンダリングを実現する。
• 複数のコンponentからなる正則化スキームを導入：球体初期化、粗〜細かい最適化、曲率損失、およびRGBに基づくリプシッツ正則化により、微細な詳細を保持する。
• レンダリングに偏りのないボリュメトリック統合を採用し、3080 GPUで30 fpsのリアルタイム推論を実現するためのスフィアトレーシングを用いる。
• 格子構造を高次元に拡張することで、時間発展する表面を同じ構造で符号化し、方向付き点サンプルから4次元表面学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パーミュータヘドラル格子ベースの符号化は、3次元以上の高次元において、ボクセルハッシングを上回る学習および推論速度を達成できるか？
• RQ2 新規の正則化スキームは、孔やしわのような高周波数の幾何的詳細を回復できるか、かつ過剰な平滑化を回避できるか？
• RQ3 ハッシュベースの符号化を用いたニューラルインパルシットSDFは、明示的監視なしにRGB画像のみから正確な幾何を再構成できるか、その限界は何か？
• RQ4 本手法は時間変化する表面を4次元的に効率的にモデリングできるか？また、格子構造はこの拡張をどのように支援するか？
• RQ5 SDFとハッシュ符号化の組み合わせは、既存のハイブリッド密度-SDFまたはオカペイシティベースの手法と比較して、幾何的正確性と詳細回復の面で優れているか？

主な発見

• パーミュータヘドラル格子は、次元数が高くなるほどボクセルハッシングを顕著に上回り、次元数に線形にスケーリングされる点で、特に高次元において顕著な性能差を示す。
• Multifaceデータセットにおいて、PermutoSDFはPSNR 34.92を達成し、NeuS（33.49）を上回り、優れた詳細回復と画像品質を実現した。
• アブレーションスタディの結果、リプシッツ損失によるRGB正則化が微細な幾何的詳細を回復するために不可欠であり、全設定の中でチェンファーディスタンスを最小にした。
• 本手法は4次元で時間発展する表面を効果的に学習でき、時間軸をスイープすることで中間形状の可視化が可能となった。
• RTX 3090で約30分で学習が完了し、スフィアトレーシングを用いて30 fpsの新規ビューレンダリングが可能となり、リアルタイム推論を実現した。
• 完全にキャリブレーションされた仮想カメラを用いた合成上界実験では、PermutoSDFは、従来の学習ベースのボリュメトリック手法が捉えられなかった孔やしわを回復した。