[論文レビュー] Volume Rendering Digest (for NeRF)

Andrea Tagliasacchi, Ben Mildenhall|arXiv (Cornell University)|Aug 29, 2022

Computer Graphics and Visualization Techniques被引用数 14

ひとこと要約

この技術報告書は、ニューラルレイトランスフィールド（NeRF）におけるボリュームレンダリングの包括的な導出と形式的定式化を提供し、透過率と透明度を用いた微分可能レンダリングの数学的基盤を確立する。確率的透過率と区分的定数密度を用いて、キーポイントとなるNeRFボリュームレンダリング方程式を導出しており、色合成が再帰的透過率とアルファブレンドによってどのように計算されるかを示している。

ABSTRACT

Neural Radiance Fields employ simple volume rendering as a way to overcome the challenges of differentiating through ray-triangle intersections by leveraging a probabilistic notion of visibility. This is achieved by assuming the scene is composed by a cloud of light-emitting particles whose density changes in space. This technical report summarizes the derivations for differentiable volume rendering. It is a condensed version of previous reports, but rewritten in the context of NeRF, and adopting its commonly used notation.

研究の動機と目的

• 確率的透過率を用いたNeural Radiance Fields (NeRF) で用いられるボリュームレンダリングプロセスを形式化すること。
• 微分方程式と累積分布関数を用いて、最初からNeRFレンダリング方程式を導出すること。
• ボリュームレンダリングにおける透過率、透明度、アルファコンポジティングの関係を確立すること。
• NeRFがレイに沿った積分によって視依存色をどのように計算するか、数学的に厳密かつ教育的に行なう説明を提供すること。
• 微分可能レンダリングパイプラインと互換性を持つように、密度、透過率、色の統合の概念を統合すること。

提案手法

• シーンを連続的な密度場 σ(x) としてモデル化し、単位距離あたりのレイ-粒子衝突の確率を表す。
• 透過率 T(t) を、距離 t まで粒子に当たることなく到達する確率として定義し、微分方程式 T'(t) = -T(t)σ(t) から導出する。
• 透過率方程式を解き、T(a→b) = exp(−∫ₐᵇ σ(t)dt) を得る。これはレイのセグメントに沿った生存確率を表す。
• ボリュームレンダリング積分 C = ∫₀ᴰ T(t)σ(t)c(t)dt を導出する。ここで T(t)σ(t) は、距離 t で停止する確率密度を表す。
• 密度 σₙ と区間 δₙ を用いた区分的定数セグメントに適用し、C = Σₙ Tₙ(1−exp(−σₙδₙ))cₙ を得る。
• 結果をアルファコンポジティング重み αₙ = 1−exp(−σₙδₙ) を用いて再表現し、最終的なNeRFレンダリング方程式 C = Σₙ Tₙαₙcₙ を得る。ここで Tₙ = ∏ᵢ₌₁ⁿ⁻¹(1−αᵢ) である。

実験結果

リサーチクエスチョン

• RQ1 ボリュームレンダリングにおけるNeRFの形式的導出は、透過率と可視性の確率的原則からどのように可能になるか？
• RQ2 連続的ボリューム媒体における密度、透過率、透明度の数学的関係は何か？
• RQ3 密度と色の区分的定数近似は、NeRFにおける効率的で微分可能なレンダリングをどのように可能にするか？
• RQ4 停止点の累積分布関数とボリュームレンダリングにおける透過率関数の関係は何か？
• RQ5 ボリュームレンダリング積分は、標準的なグラフィックスレンダリング技術と整合するように、アルファコンポジティングを用いてどのように再表現できるか？

主な発見

• 透過率関数 T(a→b) = exp(−∫ₐᵇ σ(t)dt) は、レイの生存確率をモデル化する微分方程式の解として導出される。
• レイが距離 t で停止する確率密度は T(t)σ(t) で与えられ、これは透過率と密度の積に相当する。
• 一定密度 σₐ と色 cₐ の均一な媒体では、得られる色は cₐ(1−exp(−σₐ(b−a))) となり、指数的減衰が生じる。
• 区分的定数セグメントでは、ボリュームレンダリング積分は C = Σₙ Tₙ(1−exp(−σₙδₙ))cₙ に簡略化され、Tₙ はセグメント n までの累積透過率を表す。
• 最終的なNeRFレンダリング方程式は C = Σₙ Tₙαₙcₙ として回復され、ここで αₙ = 1−exp(−σₙδₙ) かつ Tₙ = ∏ᵢ₌₁ⁿ⁻¹(1−αᵢ) である。これにより微分可能レンダリングが可能になる。
• 恒等式 ∫(1−T(t))' dt = T(a)−T(b) を用いた別導出により、同じ結果が得られ、アプローチの整合性が検証される。