[論文レビュー] Modeling Indirect Illumination for Inverse Rendering

Yuanqing Zhang, Jiaming Sun+4 more|arXiv (Cornell University)|Apr 14, 2022

Advanced Vision and Imaging被引用数 7

ひとこと要約

本論文は、ニューラルレンダリングフィールドから導出されたものにより、逆レンダリングにおける空間的に変化する間接照明を効率的にモデル化する手法を提案する。これにより、未知の照明下で複数視点RGB画像から、影や相互反射を含まないアルベドおよび粗さの正確な回復が可能になる。間接照明推定を共同最適化から分離することで、再帰的パストレーシングに起因する高コストな計算を回避し、SVBRDF回復および自由視点再ライティング分野で最先端の性能を達成する。

ABSTRACT

Recent advances in implicit neural representations and differentiable rendering make it possible to simultaneously recover the geometry and materials of an object from multi-view RGB images captured under unknown static illumination. Despite the promising results achieved, indirect illumination is rarely modeled in previous methods, as it requires expensive recursive path tracing which makes the inverse rendering computationally intractable. In this paper, we propose a novel approach to efficiently recovering spatially-varying indirect illumination. The key insight is that indirect illumination can be conveniently derived from the neural radiance field learned from input images instead of being estimated jointly with direct illumination and materials. By properly modeling the indirect illumination and visibility of direct illumination, interreflection- and shadow-free albedo can be recovered. The experiments on both synthetic and real data demonstrate the superior performance of our approach compared to previous work and its capability to synthesize realistic renderings under novel viewpoints and illumination. Our code and data are available at https://zju3dv.github.io/invrender/.

研究の動機と目的

• 未知の静的照明下における逆レンダリングにおける間接照明のモデル化の課題に取り組む。
• 物理ベースレンダリングにおける再帰的パストレーシングに起因する計算の非現実的さを軽減する。
• そうでない場合にアルベドに埋め込まれる間接照明効果を分離することで、アルベドと粗さを分離する。
• 回復されたSVBRDFおよび照明パラメータを用いて、現実的な自由視点再ライティングを可能にする。
• 複雑な素材を有する実世界の物体に対する逆レンダリングの精度と頑健性を向上させる。

提案手法

• まず、市販の手法を用いて複数視点RGB画像からニューラルレンダリングフィールドおよび幾何を学習する。
• 間接照明は、3次元表面点からその入射間接放射度へのマッピングを実行する多層パーセプトロン（MLP）としてモデル化され、学習済みの出射放射度フィールドから導出される。
• 出射放射度を教師データとして用いることで、再帰的パストレーシングを伴わず、効率的かつ微分可能な推定が可能になる。
• 直接照明の可視性は、球面調和関数（SG）に基づく可視性推定を用いてモデル化され、レンダリング精度が向上する。
• 空間的に変化するBRDF（アルベドおよび粗さ）を表現するためにスパースな潜在空間エンコーダ・デコーダが用いられ、限定的な素材タイプの事前知識を強制することで、曖昧性を低減する。
• 完全なレンダリング方程式は、最適化中のSVBRDFおよび環境光の固定された学習済み間接照明を統合することで、安定的かつ効率的な逆レンダリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 再帰的パストレーシングを伴わず、逆レンダリングにおける間接照明を効率的にモデル化できるか？
• RQ2 事前に学習されたニューラルレンダリングフィールドから間接照明を導出することで、幾何と素材の共同最適化から分離できるか？
• RQ3 間接照明をモデル化することで、逆レンダリングにおけるアルベドと粗さの分離が向上するか？
• RQ4 提案手法は、新しい視点および照明条件下でも高品質な再ライティングを達成できるか？
• RQ5 提案手法は、空間的に変化するBRDFの回復および実世界素材の取り扱いにおいて、先行研究と比較して優れているか？

主な発見

• 合成データセットにおいて、提案手法はベースライン手法および変更版PhySGを上回り、SVBRDF回復および再ライティング分野で最高の性能を達成した。
• 定量的評価では、合成テストシーンにおいてPSNRが26.1846、SSIMが0.9902、LPIPSが0.0449を達成した。
• アブレーションスタディの結果、間接照明を省略するとアルベドおよび環境光が明るく推定されることが判明し、間接効果が誤ってアルベドに吸収されていることが示された。
• SVBRDFのための潜在空間が存在しない場合、粗さの予測がノイズが多くなることが確認され、提案された事前知識の重要性が示された。
• 実世界の撮影データにおいても、妥当なアルベド、粗さ、法線マップが回復され、新しい照明条件下でも現実的な再ライティングが可能となった。
• 視覚的品質および補足動画による結果から、高視覚的忠実度の自由視点再ライティングが実現された。