[論文レビュー] DIVeR: Real-time and Accurate Neural Radiance Fields with Deterministic Integration for Volume Rendering

Liwen Wu, Jae Yong Lee+3 more|arXiv (Cornell University)|Nov 19, 2021

Computer Graphics and Visualization Techniques参考文献 55被引用数 5

ひとこと要約

DIVeR は、ボクセルベースの特徴フィールド上で決定的ボリュームレンダリング統合を用いることで、確率的モンテカルロサンプリングに代わる、リアルタイムで高精度なニューラルレイトランスフィールド手法を提案する。各ボクセルごとに MLP とアルファブレンドを用いてボリュームレンダリング積分を推定することで、薄い半透明構造物の高精細レンダリングを実現し、高速な推論（約50 FPS）、小型モデルサイズ（約64MB）、自然な編集性を達成し、速度、品質、効率の面で最先端の NeRF アーキテクチャを上回る。

ABSTRACT

DIVeR builds on the key ideas of NeRF and its variants -- density models and volume rendering -- to learn 3D object models that can be rendered realistically from small numbers of images. In contrast to all previous NeRF methods, DIVeR uses deterministic rather than stochastic estimates of the volume rendering integral. DIVeR's representation is a voxel based field of features. To compute the volume rendering integral, a ray is broken into intervals, one per voxel; components of the volume rendering integral are estimated from the features for each interval using an MLP, and the components are aggregated. As a result, DIVeR can render thin translucent structures that are missed by other integrators. Furthermore, DIVeR's representation has semantics that is relatively exposed compared to other such methods -- moving feature vectors around in the voxel space results in natural edits. Extensive qualitative and quantitative comparisons to current state-of-the-art methods show that DIVeR produces models that (1) render at or above state-of-the-art quality, (2) are very small without being baked, (3) render very fast without being baked, and (4) can be edited in natural ways.

研究の動機と目的

• 確率的ボリュームレンダリングの限界、特に疎なサンプリングによる薄い半透明構造物のレンダリング不良を解消すること。
• 最小限のモデルサイズと高速な推論を維持しながら、高精細なリアルタイムで正確なニューラルレイトランスフィールド手法を開発すること。
• ボクセルベースの表現で特徴の意味論を露呈させることで、直感的で意味論的意識のあるシーン編集を可能にすること。
• ボクセル区間における確率的サンプリングの代わりに決定的統合を採用することで、計算コストと勾配ノイズを低減すること。

提案手法

• DIVeR は、各頂点に学習可能な特徴ベクトルを格納するボクセルグリッドとしてシーンを表現し、局所的で意味論的意識のある表現を可能にする。
• 各レイに対して、レイをボクセルに対応する区間に分割し、各ボクセルの寄与を MLP を用いて推定することでボリュームレンダリング積分を計算する。
• 統合器は、特徴ベクトルと MLP を用いて密度と色を予測し、それらをアルファブレンドによって集約することで、各ボクセル区間の寄与を計算する。
• モンテカルロ法の分散とサンプリング非効率性を回避するため、ボリュームレンダリング積分を決定的に推定するアプローチを採用する。
• 品質損失が顕著でない状態で効率的なストレージ（例：uint8）を可能にするために、tanhマップを用いたハイブリッド暗黙的・陽的訓練戦略を採用する。
• モデルは勾配降下法によりピxls単位の再構成誤差を最小化するように訓練され、推論はボクセル化された特徴フィールドを介したレイクエリによって実行される。

実験結果

リサーチクエスチョン

• RQ1 決定的ボリュームレンダリング統合は、確率的モンテカルロサンプリングに比べ、ニューラルレイトランスフィールドにおける薄い半透明構造物のレンダリングで優れているか？
• RQ2 MLP を用いた各ボクセル統合を伴うボクセルベースの特徴フィールドは、暗黙的 NeRF と比較して、モデルサイズ、推論速度、レンダリング品質にどのように影響を与えるか？
• RQ3 ボクセルグリッド内の特徴ベクトルが、オブジェクト交換やシーン構成といった直感的で意味論的意識のあるシーン編集をどの程度可能にするか？
• RQ4 決定的統合は、確率的サンプリングと比較して、トレーニングノイズを低減し、最適化効率を向上させるか？
• RQ5 本手法は、リアルタイム推論（例：50 FPS）と小型モデルサイズ（例：約64MB）を達成しながら、最先端の PSNR を維持できるか？

主な発見

• 64MB の float32 モデルを用いて、レゴシーンで PSNR 35.52 を達成し、同程度のモデルサイズの確率的ベースライン（PSNR 33.89）を上回った。
• 1枚の 1080 Ti GPU で約50 FPS でレンダリングが可能であり、1フレーム数分の標準 NeRF よりも著しく高速であった。
• 特徴ベクトルの uint8 量子化により、モデルサイズは約19MB にまで削減され、PSNR の低下はわずか（35.44 vs. 35.52）にとどまり、効率的なデプロイが可能になった。
• DIVeR は、モンテカルロベースの NeRF が十分なサンプリングができないために見過ごされる、ドラムヘッドのような薄い半透明構造物も正常にレンダリングできた。
• ボクセルベースの特徴表現により自然な編集が可能である：オブジェクト交換やシーン構成は、ボクセルグリッドのブレンドと特徴のクラスタリングにより実現され、視点変更に対しても結果が保持された。
• アブレーションスタディにより、決定的統合と暗黙的・陽的訓練が性能に不可欠であることが確認され、ランダムサンプリングや純粋な暗黙的モデルでは顕著な品質低下が生じた。