[論文レビュー] Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall+3 more|arXiv (Cornell University)|Apr 13, 2023

3D Shape Modeling and Analysis被引用数 14

ひとこと要約

Zip-NeRF は mip-NeRF 360 のスケール認識アンチエイリアシングと Instant NGP のグリッドベース機能を組み合わせ、訓練を速くし誤差を減らしたアンチエイリアシング NeRF を実現する。マルチスケールベンチマークで最大 77% の改善、mip-NeRF 360 より訓練が 24× 速い。

ABSTRACT

Neural Radiance Field training can be accelerated through the use of grid-based representations in NeRF's learned mapping from spatial coordinates to colors and volumetric density. However, these grid-based approaches lack an explicit understanding of scale and therefore often introduce aliasing, usually in the form of jaggies or missing scene content. Anti-aliasing has previously been addressed by mip-NeRF 360, which reasons about sub-volumes along a cone rather than points along a ray, but this approach is not natively compatible with current grid-based techniques. We show how ideas from rendering and signal processing can be used to construct a technique that combines mip-NeRF 360 and grid-based models such as Instant NGP to yield error rates that are 8% - 77% lower than either prior technique, and that trains 24x faster than mip-NeRF 360.

研究の動機と目的

• グリッドベースの表現を通じてより高速な NeRF 訓練を動機づけつつ、スケールによるエイリアシングに対処する

提案手法

• mip-NeRF 360 の円錐ベースのサブボリューム入力を iNGP の階層化グリッド機能と統合する。
• 円錐フラスタムのマルチサンプリングを導入してスケール認識前処理特徴を生成する。
• 補間特徴の重みを下げて、各スケールサンプルごとにエイリアシングを低減する。
• z-エイリアシングを低減するため、mip-NeRF 360 の interlevel loss を滑らかな前処理済み loss に置換し提案監督を行う。
• 光線に沿った測定距離を正規化距離へ写像する新規正規化変換を用い、スケールを横断した安定訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 グリッドベースの NeRF をスケール認識のエイリアシングに対処しつつ訓練速度を損なわず拡張できるのか。
• RQ2 マルチサンプリングと各サンプルの重み付けを組み合わせて mip-NeRF 360 のフレームワークと互換性のあるスケール認識特徴を生成できるのか。
• RQ3 提案監督の滑らかなアンチエイリアス損失は、従来の手法で観測された z-エイリアシングを緩和できるのか。
• RQ4 iNGP グリッドと mip-NeRF 360 の統合が、スケール横断のレンダリング品質と訓練時間に与える影響は何か。

主な発見

• Zip-NeRF は関連ベンチマークで従来技術より最大 8%–77% の誤差を低減。
• Zip-NeRF は mip-NeRF 360 ベンチマークで mip-NeRF 360 より 24× 速く訓練。
• マルチスケールベンチマークで Zip-NeRF は誤差を最大 77% 削減。
• ベースラインと比較して Zip-NeRF は RMSE、DSSIM、LPIPS に顕著な改善をもたらす（例：iNGP ベースラインに対して RMSE 最大 28%、DSSIM 42%、LPIPS 37% の削減）。
• 本手法は細部構造を保持し、ジャギーやコンテンツ欠落といったエイリアシングを抑制する。