[論文レビュー] PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting

Kai Zhang, Fujun Luan+3 more|arXiv (Cornell University)|Apr 1, 2021

Computer Graphics and Visualization Techniques被引用数 9

ひとこと要約

PhySGは、静的で自然な照明下のマルチビューRGB画像から、幾何、材料、照明を同時に再構築するエンド・ツー・エンドで微分可能な逆レンダリングパイプラインを提示する。BRDFと環境マップを球面ガウス関数で表現し、幾何をニューラルSDFで表現することで、正確な新規ビュー合成、再ライティング、物理ベースの材料編集を可能にする。スペキュラー反射の取り扱いにおいて、非物理的ニューラルレンダリングベースラインを上回る性能を発揮する。

ABSTRACT

We present PhySG, an end-to-end inverse rendering pipeline that includes a fully differentiable renderer and can reconstruct geometry, materials, and illumination from scratch from a set of RGB input images. Our framework represents specular BRDFs and environmental illumination using mixtures of spherical Gaussians, and represents geometry as a signed distance function parameterized as a Multi-Layer Perceptron. The use of spherical Gaussians allows us to efficiently solve for approximate light transport, and our method works on scenes with challenging non-Lambertian reflectance captured under natural, static illumination. We demonstrate, with both synthetic and real data, that our reconstructions not only enable rendering of novel viewpoints, but also physics-based appearance editing of materials and illumination.

研究の動機と目的

• 静的で自然な照明下のマルチビューRGB画像から、RGBDや制御された照明を用いずに、幾何、材料、照明を同時に再構築する課題に対処すること。
• 照明と材料特性を分離することで、物理的に妥当な外観編集と再ライティングを可能にすること。
• 外観を単一のニューラル表面光場としてモデル化するニューラルレンダリング手法の制限を克服し、物理的編集を可能にすること。
• 球面ガウス関数を用いて効率的な光輸送近似を実現する完全に微分可能なレンダラーを開発し、エンド・ツー・エンド最適化を可能にすること。
• 弱いスペキュラー反射や非ラムベール的反射を示す現実世界の光沢のある物体への適用性と、弱いスペキュラー反射へのロバストネスを示すこと。

提案手法

• 幾何は、マルチレイヤーパーセプトロン（MLP）でパラメータ化された符号付き距離関数（SDF）として表現され、暗黙的表面表現を可能にする。
• スペキュラーBRDFと環境照明は、球面ガウス関数（SG）の混合としてモデル化され、レンダリング方程式の閉形式で微分可能な評価が可能になる。
• パイプライン全体がエンド・ツー・エンドで微分可能であり、2次元画像の監視信号と光度損失を用いて、幾何、材料、照明を同時に最適化できる。
• 球面ガウス関数を用いてレンダリング方程式を近似することで、モンテカルロサンプルを用いずに、効率的かつ微分可能な光輸送計算が可能になる。
• 逆レンダリングにおけるスケールの曖昧性を解消するために、拡散アルベドにスケールアライメント戦略を適用し、視覚的忠実度を向上させる。
• 視覚的依存効果をサポートする微分可能なレンダラーを用いて学習が行われ、スペキュラー反射の正確な合成が可能になる。

Figure 1 : PhySG performs physics-based inverse rendering by taking as input multi-view images of a static glossy object under static natural illumination and jointly optimizes for geometry (represented by an SDF), material BRDF and environment maps (both represented by a mixture of spherical Gaussi

実験結果

リサーチクエスチョン

• RQ1 完全に微分可能な逆レンダリングパイプラインは、静的で自然な照明下のマルチビューRGB画像から、幾何、材料、照明を同時に再構築できるか？
• RQ2 球面ガウス関数は、微分可能なレンダリングフレームワークにおいて、スペキュラーおよびグロスな材料の複雑な光輸送をどれほど正確に近似できるか？
• RQ3 事前に幾何や制御された照明が与えられていない状況でも、物理的に直感的な材料編集と再ライティングが可能か？
• RQ4 非ラムベール的反射および弱いスペキュラー反射を示す現実世界のデータに対して、本手法はどの程度の性能を示すか？
• RQ5 本手法は、間接照明や空間的に変化するBRDFの取り扱いにおいて、どのような限界を有するか？

主な発見

• PhySGは、合成データおよび実世界データにおいて、新規ビュー合成で最先端の性能を達成し、NeRF、IDR、DVRに比べてスペキュラー反射の取り扱いにおいて優れている。
• 非常に弱いスペキュラー反射を示す画像からでさえ、妥当な環境マップを再構築でき、低反射率へのロバストネスを示している。
• 球面ガウス関数表現を用いたBRDFと照明の分離により、物理ベースの材料編集と再ライティングが実現された。
• 幾何再構築の品質はIDRとほぼ同等であるが、外観モデリングと編集可能性においてそれを上回っている。
• 本手法は、光沢があり非ラムベール的材料を有する現実世界のシーンへも一般化でき、新規ビュー合成および編集において写真並みの結果を生成している。
• rednerのようなベースライン手法は、球面初期化からの最適化で収束しないため、PhySGにおけるSDFに基づく暗黙的幾何表現の優位性が示された。

Figure 2 : Overview of our PhySG inverse rendering pipeline. To render the color for a camera ray $\mathbf{r}=\mathbf{o}+t\mathbf{d}$ , we first use sphere tracing to find the ray’s intersection $\mathbf{x}$ with the geometry in the form of a signed distance function (SDF) represented as an MLP $S(\