[論文レビュー] Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis

Julian Knodt, Joe Bartusek+2 more|arXiv (Cornell University)|Apr 27, 2021

Computer Graphics and Visualization Techniques被引用数 5

ひとこと要約

この論文では、符号付き距離関数を用いてシーンの幾何構造を明示的にモデル化し、混合拡散/学習可能BRDFを用いて反射特性をモデル化する、微分可能で分離可能なニューラルレンダリングフレームワーク、Neural Ray-Tracingを提案する。ニューラルシーン表現をパストレーシングパイプラインに統合することで、効率的で物理的に妥当な多次反射レンダリングおよび逆レンダリングが可能となり、リライトやビュー合成において、従来のニューラル手法よりも定量的指標および定性的な現実性の両面で優れている。特に、正確な影の生成と法線の予測が可能である。

ABSTRACT

Recent neural rendering methods have demonstrated accurate view interpolation by predicting volumetric density and color with a neural network. Although such volumetric representations can be supervised on static and dynamic scenes, existing methods implicitly bake the complete scene light transport into a single neural network for a given scene, including surface modeling, bidirectional scattering distribution functions, and indirect lighting effects. In contrast to traditional rendering pipelines, this prohibits changing surface reflectance, illumination, or composing other objects in the scene. In this work, we explicitly model the light transport between scene surfaces and we rely on traditional integration schemes and the rendering equation to reconstruct a scene. The proposed method allows BSDF recovery with unknown light conditions and classic light transports such as pathtracing. By learning decomposed transport with surface representations established in conventional rendering methods, the method naturally facilitates editing shape, reflectance, lighting and scene composition. The method outperforms NeRV for relighting under known lighting conditions, and produces realistic reconstructions for relit and edited scenes. We validate the proposed approach for scene editing, relighting and reflectance estimation learned from synthetic and captured views on a subset of NeRV's datasets.

研究の動機と目的

• ニューラルレンダランスフィールドにおける幾何構造、反射特性、照明の混合状態を解消し、編集可能性およびリライト能力を向上させること。
• ニューラルシーン表現を用いた効率的で微分可能なパストレーシングを実現するとともに、物理的光輸送の解釈可能性を保持すること。
• シーンの光輸送を、表面幾何構造、BRDF、照明に分離可能なコンポonentに分解することで、逆レンダリングおよびリライトを可能にすること。
• 正確な影と表面法線を再現する高精度なビュー合成とリライトを実現し、NeRFのような暗黙的ボリュメトリックネットワークの限界を克服すること。
• 空間的に変化する照明を学習可能なMLPとしてモデル化することで、未知の照明条件へのニューラルレンダリングの拡張を図ること。

提案手法

• 符号付き距離関数（SDF）を用いて暗黙的3D幾何構造を表現し、効率的なレイ-表面交差計算および遮蔽計算を可能にする。
• 解析的拡散成分と学習可能な空間的に変化する非拡散成分を組み合わせた分離可能なBRDFモデルを採用し、複雑な反射特性を表現する。
• 二分探索に基づくレイキャスティングと階層的交差評価を用いた微分可能なパストレーシングを実行し、O(n log n)の計算量を実現する。
• 再帰的パストレーシングにより多次反射間接照明をサポートし、直接照明および2回反射照明の寄与を明示的にモデル化する。
• 未知の照明条件に対しては、シーン座標と画像固有の潜在コードから、各位置における照明の強度と方向を予測する別個のMLPを学習する。
• システム全体を微分可能レンダリングを通じてエンドツーエンドで学習し、幾何構造、反射特性、照明コンポーネントを独立して最適化することで逆レンダリングおよびリライトを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルレンダリングフレームワークは、幾何構造、反射特性、照明を分離することで、効率的な逆レンダリングおよびリライトを可能にするか？
• RQ2 ニューラルシーン表現を用いた微分可能なパストレーシングパイプラインは、計算効率を保ちながら正確な多次反射照明を実現できるか？
• RQ3 解析的成分と学習可能なBRDF成分を組み合わせることで、完全に学習された表現に比べてレンダリング品質と一般化性能が向上するか？
• RQ4 未知または変化する照明条件を有する実世界のシーンに対しても、本手法は一般化可能か？
• RQ5 分離可能な表現は、教師なし条件下でも正確な表面法線と深度を回復できるか？

主な発見

• 2成分BRDFモデル（拡散 + 学習可能）は、ChairシーンにおいてPSNR 35.65、MS-SSIM 0.98を達成し、拡散のみ（31.27 PSNR）や学習のみ（27.74 PSNR）のベースラインと比べ顕著に優れている。
• Hotdogシーンでは、組み合わせモデルが37.70 PSNRおよび0.98 MS-SSIMを達成し、鏡面反射と構造的詳細の捉え込みにおいて優れた性能を示している。
• 本手法は、NeRFが暗黙的ボリュメトリック表現のため遮蔽や法線の回復ができないのとは異なり、ソフトな影と表面法線を正確に予測している。
• 2回反射の間接照明が効果的に捉えられており、トレイクターのクチバシから反射した光がレゴシーンの屋根に届いており、明確に照明が確認できる。
• 未知の照明条件に拡張した場合、BRDFの拡散事前分布のおかげで、実際のDTUデータセットの画像から、教師なしで妥当な深度と法線を回復している。
• O(n log n)の計算量を実現し、間接照明の面でNeRVを速度と品質の両面で上回る効率的な多次反射レンダリングを達成している。