[論文レビュー] VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field

Naruya Kondo, Yuya Ikeda+4 more|arXiv (Cornell University)|Nov 25, 2021

Computer Graphics and Visualization Techniques被引用数 6

ひとこと要約

VaxNeRF は、視界ハル（visual hull）——古典的な3D再構成技術——を、前景・背景の二値マスクのみを用いて粗いボクセルボリュームを定義することで、Neural Radiance Fields (NeRF) の速度を向上させる。このシンプルなアプローチにより、NeRFネットワークの不要な評価を大幅に削減する。JaxNeRF に僅か30行のコード変更を加えるだけで、品質に劣化を来さずに2–8倍の高速化を達成し、256 TPUコアで全NeRF学習を数時間から約30分に短縮する。

ABSTRACT

Neural Radiance Field (NeRF) is a popular method in data-driven 3D reconstruction. Given its simplicity and high quality rendering, many NeRF applications are being developed. However, NeRF's big limitation is its slow speed. Many attempts are made to speeding up NeRF training and inference, including intricate code-level optimization and caching, use of sophisticated data structures, and amortization through multi-task and meta learning. In this work, we revisit the basic building blocks of NeRF through the lens of classic techniques before NeRF. We propose Voxel-Accelearated NeRF (VaxNeRF), integrating NeRF with visual hull, a classic 3D reconstruction technique only requiring binary foreground-background pixel labels per image. Visual hull, which can be optimized in about 10 seconds, can provide coarse in-out field separation to omit substantial amounts of network evaluations in NeRF. We provide a clean fully-pythonic, JAX-based implementation on the popular JaxNeRF codebase, consisting of only about 30 lines of code changes and a modular visual hull subroutine, and achieve about 2-8x faster learning on top of the highly-performative JaxNeRF baseline with zero degradation in rendering quality. With sufficient compute, this effectively brings down full NeRF training from hours to 30 minutes. We hope VaxNeRF -- a careful combination of a classic technique with a deep method (that arguably replaced it) -- can empower and accelerate new NeRF extensions and applications, with its simplicity, portability, and reliable performance gains. Codes are available at https://github.com/naruya/VaxNeRF .

研究の動機と目的

• NeRFの遅い学習速度——3D再構成応用における主要なボトル neck —— を解決すること。
• 視界ハルのような古典的な3D再構成技術が、NeRF のような現代のディープラーニング手法と効果的に組み合わせられるかを調査すること。
• 複雑なアーキテクチャ変更を避ける、軽量でポータブルかつ高性能なNeRF加速手法を開発すること。
• レンダリング品質を損なわず、非凸形状や透過性を示す困難なシーンにおいても顕著な高速化を達成すること。
• 古典的手法と現代的手法を組み合わせることで、最先端に最適化されたNeRFバージョンを上回る性能を達成できることを示すこと。

提案手法

• 画像ごとの前景・背景の二値セグメンテーションマスクのみを用いて、視界ハルを粗い内外面積予測子として統合する。
• NeRFの階層的サンプリングを、視界ハルのバウンディングボリューム内に制限された一様で密なレイサンプリングに置き換える。
• JAXベースの、完全微分可能な視界ハルサブルーチンを採用し、100枚の画像に対して約10秒で最適化可能である。
• NeRFのMLP評価を、視界ハル内部の点に限定することで、空の領域における高コストな評価を排除する。
• JaxNeRFフレームワークにわずか30行程度のコード変更を加えることで実装し、モジュラリティとポータビリティを維持する。
• 追加の粗いネットワークを必要とせず、高解像度のボクセルサンプリング（例：400×400×400）を1つの粗いモデルで実現することで、効果的な空間分解能を達成する。

実験結果

リサーチクエスチョン

• RQ1 視界ハルのような古典的な3D再構成技術が、現代のNeRF学習を高速化するために効果的に再利用可能か？
• RQ2 視界ハルを空間的事前分布として用いることで、NeRFネットワークの評価回数を減らしつつレンダリング品質を損なわないか？
• RQ3 視界ハルとNeRFをシンプルかつモジュラーに統合した手法が、PlenOctrees や NSVF のようなより複雑で高度に最適化されたNeRFバージョンを上回る性能を発揮できるか？
• RQ4 視界ハルにおける点選択の有効解像度は、NeRFの階層的サンプリングと比較して収束速度と最終精度の面でどのように異なるか？
• RQ5 非凸形状や透過性を示す困難なシーンにおいても、視界ハルによる高速化効果は一貫して維持されるか？

主な発見

• VaxNeRF は、JaxNeRFベースラインと比較して、NeRF-Synthetic および NSVF-Synthetic データセットで2–8倍の高速化を達成し、PSNR や SSIM に劣化なしに実現した。
• 最も性能の高い VaxNeRF バージョン（例：vax_c600、vax_c800）は、NeRF と同等またはわずかに優れた最終レンダリング品質を達成しながら、はるかに高速に学習を完了した。
• 1つのA100 GPUで、VaxNeRF は最大240,489レイ/秒（vax_c64f16）を達成し、NeRF の34,424レイ/秒を上回った。
• 256 TPUコアを用いる場合、VaxNeRF は全NeRF学習時間を2.5時間から約30分に短縮した。
• VaxNeRF は NSVF を上回り、PlenOctrees と同等またはそれを上回るPSNRを達成しながら、はるかにシンプルであるにもかかわらず、競争力ある学習速度を維持した。
• 非凸形状や透過性を示すシーンにおいても、視界ハル単体では真の内外面積を提供できないが、VaxNeRF は依然として有効な性能を発揮した。