[論文レビュー] Neural Reflectance Fields for Appearance Acquisition

Sai Bi, Zexiang Xu+7 more|arXiv (Cornell University)|Aug 9, 2020

Computer Graphics and Visualization Techniques参考文献 57被引用数 111

ひとこと要約

Neural Reflectance Fieldsを導入する—幾何と反射率の連続的なニューラル表現と、未構造のフラッシュ画像からのビュー合成、リライティング、シーン構成を実現する微分可能・反射率を考慮したレイマーチングレンダラーの組み合わせ。

ABSTRACT

We present Neural Reflectance Fields, a novel deep scene representation that encodes volume density, normal and reflectance properties at any 3D point in a scene using a fully-connected neural network. We combine this representation with a physically-based differentiable ray marching framework that can render images from a neural reflectance field under any viewpoint and light. We demonstrate that neural reflectance fields can be estimated from images captured with a simple collocated camera-light setup, and accurately model the appearance of real-world scenes with complex geometry and reflectance. Once estimated, they can be used to render photo-realistic images under novel viewpoint and (non-collocated) lighting conditions and accurately reproduce challenging effects like specularities, shadows and occlusions. This allows us to perform high-quality view synthesis and relighting that is significantly better than previous methods. We also demonstrate that we can compose the estimated neural reflectance field of a real scene with traditional scene models and render them using standard Monte Carlo rendering engines. Our work thus enables a complete pipeline from high-quality and practical appearance acquisition to 3D scene composition and rendering.

研究の動機と目的

• 実景の外観取得を、明示的な幾何再構成なしに動機づける。
• 幾何、反射率、体積密度をモデル化するニューラルで連続的な表現を提案する。
• 微分可能で反射率を考慮したレイ marching レンダリングパイプラインを開発する。
• 実用的なキャプチャ設定を用いて、共定位フラッシュ画像からニューラル反射場を学習できることを示す。
• 従来のレンダラを用いたビュー合成、リライティング、シーン構成の応用を示す。

提案手法

• 任意の3D点で密度、法線、反射率パラメータを出力するMLPを用いてシーン特性を表現する。
• 任意の視点と照明下で放射輝度をレンダリングする微分可能なレイマーチング方程式を使用する。
• リライティングと影を可能にするため、レンダリング方程式に古典的な反射モデルを組み込む。
• coarse-to-fine 適応サンプリング方式を用いて、共定位カメラ-フラッシュ画像からネットワークを訓練する。
• 共定位でない照明の下で効率的にレンダリングするため、適応的な光透過量ボリュームを事前計算する。
• 毛皮など他の反射モデルへ拡張したり、標準レンダラで従来の3Dモデルと合成することも可能。

実験結果

リサーチクエスチョン

• RQ1 ニューヨークね？（正しくは） Can a neural field jointly model scene geometry and reflectance to enable high-fidelity appearance reproduction? を日本語に訳すと: ニューロル場はシーンの幾何と反射率を同時にモデル化して高忠実度の外観再現を可能にするか。
• RQ2 Can collocated camera-flash captures provide enough information to learn a neural reflectance field for real scenes?
• RQ3 Does the resulting representation support realistic view synthesis, relighting, and scene composition under novel lighting and viewpoints?
• RQ4 How can differentiable ray marching be combined with classical reflectance models to regularize learning and enable shadows?

主な発見

• Neural reflectance fields accurately model complex geometry and reflectance and render photo-realistic images from novel viewpoints and lighting.
• The approach outperforms state-of-the-art mesh-based and discrete-volume methods on challenging real scenes.
• The framework supports relighting and accurate shadows, specularities, and occlusions.
• The neural field can be composed with traditional 3D models and rendered in standard Monte Carlo renderers.
• Training from collocated flash images is practical with a simple handheld capture setup.