[論文レビュー] AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields

Andreas Kurz, Thomas Neff+3 more|arXiv (Cornell University)|Jul 21, 2022

Advanced Vision and Imaging被引用数 8

ひとこと要約

AdaNeRFは、サンプリングネットワークが最適なサンプル位置を予測し、シャーディングネットワークが最も重要なサンプルのみを評価することで、ニューラルレイトランスフィールドにおける1本の光線あたりのサンプル数を適応的に削減する、コン pact でエンド・トゥ・エンドでトレーニング可能なデュアルネットワークアーキテクチャを導入した。これにより、コンsumer GPUで26 FPSのリアルタイムレンダリングが可能となり、従来のサンプリングベースの手法に比べて優れた品質と効率を実現した。

ABSTRACT

Novel view synthesis has recently been revolutionized by learning neural radiance fields directly from sparse observations. However, rendering images with this new paradigm is slow due to the fact that an accurate quadrature of the volume rendering equation requires a large number of samples for each ray. Previous work has mainly focused on speeding up the network evaluations that are associated with each sample point, e.g., via caching of radiance values into explicit spatial data structures, but this comes at the expense of model compactness. In this paper, we propose a novel dual-network architecture that takes an orthogonal direction by learning how to best reduce the number of required sample points. To this end, we split our network into a sampling and shading network that are jointly trained. Our training scheme employs fixed sample positions along each ray, and incrementally introduces sparsity throughout training to achieve high quality even at low sample counts. After fine-tuning with the target number of samples, the resulting compact neural representation can be rendered in real-time. Our experiments demonstrate that our approach outperforms concurrent compact neural representations in terms of quality and frame rate and performs on par with highly efficient hybrid representations. Code and supplementary material is available at https://thomasneff.github.io/adanerf.

研究の動機と目的

• ニューラルレイトランスフィールドレンダリングの高い計算コストに対処すること。これは、正確なボリュームレンダリングを実現するための光線1本あたりの多数のサンプルを必要とするためである。
• サンプリングベースのNeRF手法において、事前処理、事前学習、または複雑な入力パラメータ化の必要性を排除すること。
• 高品質な画像を維持しながら、コンactなメモリフットプリントでリアルタイムレンダリングを達成すること。
• 複数のAdaNeRFモデルを用いて、大規模または非有界なシーンのスケーラブルかつストリーミング対応のレンダリングを可能にすること。

提案手法

• 本手法は、1回評価のサンプリングネットワークと、複数回評価のシャーディングネットワークからなるデュアルネットワークアーキテクチャを採用する。
• 安定したトレーニングとソフトな学生・教師正則化を可能にするために、各光線に沿って固定された離散的なサンプル位置が使用される。
• サンプリングネットワークは、各光線に対して密度ベクトルδを予測し、これをしきい値処理して寄与度の低いサンプルを除外する。
• 残りのサンプルのみがシャーディングネットワークによって評価され、σ（密度）とRGBカラーが予測される。
• 最終的なRGB出力は、シャーディングネットワークのσとサンプリングネットワークのδを乗算することで計算され、両ネットワークに勾配が伝搬可能となる。
• スパarsityを段階的に強制する4フェーズのトレーニングスキームを採用し、その後、リアルタイム性能を達成するためのターゲットサンプル数でのファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 コンパクトでエンド・トゥ・エンドでトレーニング可能なデュアルネットワークアーキテクチャは、画像品質を損なわずに、1本の光線あたりの必要なサンプル数を顕著に削減できるか？
• RQ2 学習可能なサンプリングネットワークに基づく適応的サンプリングは、固定または事前計算されたサンプリング戦略と比較して、レンダリング効率と品質の面で優れているか？
• RQ3 このようなシステムは、コンsumerハードウェア上でリアルタイム推論を達成しつつ、小さなメモリフットプリントを維持できるか？
• RQ4 複数のAdaNeRFモデルを重複領域で効果的にブレンドすることで、大規模または非有界なシーンのスケーラブルなレンダリングが可能になるか？

主な発見

• AdaNeRFは、1008×756解像度で1本の光線あたりたった2サンプルで26 FPSを達成し、NeRFに比べて推論速度が最大74倍速くなった。
• 同等のサンプル数において、AdaNeRFはDONeRFに比べ最大5倍、TermiNeRF*に比べ最大6倍、AutoIntに比べ最大7倍のレンダリング速度を達成した。
• Instant-NGPと同等の品質を維持しながら、同じ品質レベルで最大2倍の高速な推論を実現した。
• 入力処理および適応的サンプリングによるフレームタイムオーバーヘッドを、合計フレームタイムの3％未満にまで削減した。大部分の時間はシャーディングネットワークの推論に費やされていた。
• 重複領域で複数のAdaNeRFをブレンドすることで、大規模なシーンのスケーラブルなレンダリングが可能になり、ストリーミングユースケースをサポートした。
• スパarsity正則化を施した4フェーズのトレーニングスキームにより、コラプスを効果的に防止でき、極めて低いサンプル数でも高品質な結果を達成できた。