[論文レビュー] Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination

Alen Joy, Charalambos Poullis|arXiv (Cornell University)|Feb 25, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、自然光条件下の複雑で大規模な屋外シーンにおいて、マルチビュー画像を用いて空間的に変化するBRDFをエンドツーエンドで推定する手法を提案する。二段階の最適化において、最小二乗コンフォーマルマッピングを用いた微分可能パストレーサーと、新規のマルチビュー勾配一貫性損失を採用することで、最先端の手法と比較して再構成誤差が最大50%低減され、拡散反射率と鏡面反射率の分離性が向上した。

ABSTRACT

This paper presents a process for estimating the spatially varying surface reflectance of complex scenes observed under natural illumination. In contrast to previous methods, our process is not limited to scenes viewed under controlled lighting conditions but can handle complex indoor and outdoor scenes viewed under arbitrary illumination conditions. An end-to-end process uses a model of the scene's geometry and several images capturing the scene's surfaces from arbitrary viewpoints and under various natural illumination conditions. We develop a differentiable path tracer that leverages least-square conformal mapping for handling multiple disjoint objects appearing in the scene. We follow a two-step optimization process and introduce a multi-view gradient consistency loss which results in up to 30-50% improvement in the image reconstruction loss and can further achieve better disentanglement of the diffuse and specular BRDFs compared to other state-of-the-art. We demonstrate the process in real-world indoor and outdoor scenes from images in the wild and show that we can produce realistic renders consistent with actual images using the estimated reflectance properties. Experiments show that our technique produces realistic results for arbitrary outdoor scenes with complex geometry. The source code is publicly available at: https://gitlab.com/alen.joy/multi-view-gradient-consistency-for-svbrdf-estimation-of-complex-scenes-under-natural-illumination

研究の動機と目的

• 制御された照明を必要としない任意の自然光条件下で、大規模で複雑なシーンにおける空間的に変化するBRDFを推定すること。
• 単一の合成オブジェクトにとどまらず、複雑な幾何形状を持つ複数の離散オブジェクトに対しても正確な反射率推定を可能にすること。
• 再ライティングの忠実度を向上させるために、拡散成分と鏡面成分のBRDFをより良い分離性で推定すること。
• 実世界のシーン、特に挑戦的な屋外環境を含む、撮影された画像からも安定した性能を発揮すること。
• 反射率パラメータに対して明示的な制御が可能な、再利用可能な微分可能フレームワークを提供すること。

提案手法

• 自然光条件下で撮影された実世界の画像から、マルチビューステレオを用いてシーンの幾何構造を再構築する。
• 最小二乗コンフォーマルマッピングに基づく微分可能パストレーサーを採用し、複雑な幾何形状を持つ複数の離散オブジェクトを処理する。
• 拡散成分と鏡面成分のBRDFパラメータを別々に最適化する二段階の最適化プロセスを適用し、より良い分離性を実現する。
• 複数のビュー間で勾配の分散を最小化し、各点における勾配方向の一貫性を強制するマルチビュー勾配一貫性損失を導入する。
• 空間的に変化する表面反射率をモデル化するため、変更されたクック＝トランスBRDFをパラメータ化する。
• 複数のビューにおける再構成誤差と勾配一貫性の組み合わせ損失を最小化することで、SVBRDFパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 制御された照明を必要とせず、任意の自然光条件下で、大規模で複雑な屋外シーンにおけるSVBRDF推定を効果的に行うことは可能か？
• RQ2 反射率推定の精度と耐障害性を向上させるために、マルチビュー一貫性をどのように強制できるか？
• RQ3 微分可能レンダラーは、複雑な幾何形状を持つ複数の離散オブジェクトを処理しつつ、最適化の安定性を維持できるか？
• RQ4 提案されたマルチビュー勾配一貫性損失は、拡散成分と鏡面成分のBRDF成分の分離性をどの程度向上させるか？
• RQ5 SVBRDFマップの解像度は、再構成の視覚的リアリズムと計算コストにどのように影響するか？

主な発見

• 非金属表面を有するシーンにおいて、提案手法は最先端の手法と比較して、最大50%の再構成誤差の低減を達成した。
• 金属表面に対しても、再構成誤差を最大10%まで低減し、困難なケースにおいても安定性を示した。
• マルチビュー勾配一貫性損失は、拡散反射率と鏡面反射率成分の分離性を顕著に向上させた。
• 新しい環境マップを用いた再ライティングにおいて、RMSEが最大50%低減され、新規ビューと照明の合成における高い忠実度を示した。
• 建物の外壁に描かれた手書きの装飾などの微細なディテールを捉えるには、高解像度のSVBRDFマップ（例：2048²）が必要である。
• 低解像度のマップ（例：512²）では、重要な表面ディテールが保持されず、4096²では計算コストの増加に対して僅かな利点しか得られなかった。