[論文レビュー] NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

Pratul P. Srinivasan, Boyang Deng+4 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Vision and Imaging被引用数 5

ひとこと要約

NeRVは、MLPを用いて反射率と可視性場を同時に予測するニューラルボリュメトリック表現を導入し、任意の照明条件下でも写真同等の新規視点合成と再照明を可能にする。可視性と表面交差を学習可能な関数としてモデル化することで、トレーニング中に直接および間接照明を効率的にシミュレートし、複雑な照明シナリオにおいて先行手法を上回りつつ、高精細レンダリングを維持する。

ABSTRACT

We present a method that takes as input a set of images of a scene illuminated by unconstrained known lighting, and produces as output a 3D representation that can be rendered from novel viewpoints under arbitrary lighting conditions. Our method represents the scene as a continuous volumetric function parameterized as MLPs whose inputs are a 3D location and whose outputs are the following scene properties at that input location: volume density, surface normal, material parameters, distance to the first surface intersection in any direction, and visibility of the external environment in any direction. Together, these allow us to render novel views of the object under arbitrary lighting, including indirect illumination effects. The predicted visibility and surface intersection fields are critical to our model's ability to simulate direct and indirect illumination during training, because the brute-force techniques used by prior work are intractable for lighting conditions outside of controlled setups with a single light. Our method outperforms alternative approaches for recovering relightable 3D scene representations, and performs well in complex lighting settings that have posed a significant challenge to prior work.

研究の動機と目的

• 任意の制限のない照明条件下で撮影された画像から高精細な3次元シーン再構築を可能にすること。
• 複数の光源や間接照明を含む未観測の照明条件下での新規視点合成と再照明をサポートすること。
• ニューラルレイトランスフィールドにおけるブルートフォース光輸送シミュレーションの計算不能性を克服し、可視性および交差場を学習すること。
• 複数の点光源や環境マップを含む複雑な照明設定への一般化を向上させること。これは、先行手法が困難としてきた分野である。
• 幾何学、材質、可視性を一括して最適化できる微分可能でエンドツーエンドで学習可能なフレームワークを提供すること。

提案手法

• 本手法は、3次元空間座標を入力とするMLPによってパラメータ化された連続的ボリュメトリック関数として3次元シーンを表現する。
• MLPは体積密度、表面法線、材質パラメータ、最初の表面交差までの距離、任意の方向における外部環境の可視性を出力する。
• トレーニング中に光輸送を高速化するために、光線に沿った可視性を近似するためのニューラル可視性場（NVF）を導入し、高価なブルートフォースレイマーチングに代わる。
• 物理ベースの画像形成モデルを用いた微分可能ボリュームレンダリングを採用し、直接照明および1回反射による間接照明を考慮する。
• 形状MLPの交差距離と勾配から解析的に表面法線を計算することで、精度とトレーニング安定性を向上させる。
• 既知の照明条件下で、レンダリング画像と観測された入力画像の差を勾配降下法で最小化することでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルフィールド表現が、反射率と可視性を同時にモデル化することで、任意の照明条件下での再照明を可能にするか？
• RQ2 ニューラルボリュメトリック表現において、可視性と表面交差を効率的にモデル化することで、トレーニング中に複雑な照明シミュレーションを現実可能にする方法は何か？
• RQ3 ブルートフォースレイマーチングに頼るのではなく、可視性フィールドを学習することで、複数の光源または環境照明を含むシーンでの性能向上が見られるか？
• RQ4 1回反射による間接照明をモデル化することで、複雑な照明シナリオにおけるレンダリング品質がどの程度向上するか？
• RQ5 MLPによって予測された表面法線と解析的に計算された表面法線の選択が、再構築精度と視覚的忠実度に与える影響はどの程度か？

主な発見

• NeRVは、複数の点光源や環境マップを含む複雑な照明シーンにおいて、すべてのベースラインを上回り、先行手法が失敗または著しく劣化する状況でも優れた性能を示す。
• 「Ambient+Point」照明条件下では、HotdogsデータセットでPSNR 25.06、Legoデータセットで23.79を達成し、NLTベースラインおよびラテンコード手法を上回る。
• アブレーションスタディの結果、間接照明のモデル化により視覚的品質が向上し、Legoのブルドーザーの影部分に明るさの増加といった顕著な相互反射効果が観察された。
• 解析的に計算された表面法線は、MLPによって予測された法線よりも正確で、特に「Ambient+Point」条件下でHotdogsデータセットでPSNRが1.14向上した。
• 本手法は、トレーニング時に観測されなかった新規の視点や照明条件に対しても良好に一般化され、照明変動に対して強い耐性を示した。
• 可視性フィールドにより、1光源ごとのレイマーチングを回避し、計算コストを削減しながらも高精細レンダリングを維持できる。