[論文レビュー] Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising

Jon Hasselgren, Nikolai Hofmann+1 more|arXiv (Cornell University)|Jun 7, 2022

Computer Graphics and Visualization Techniques被引用数 38

ひとこと要約

この論文は、微分可能 Monte Carlo レンダラーを複数の重要度サンプリングとデノイズと統合し、逆レンダリングパイプラインに組み込み、マルチビュー画像から明示的な三角形メッシュ、空間的に変化する材質、環境照明を共同再構成し、従来研究より材質/光の分離を改善している。

ABSTRACT

Recent advances in differentiable rendering have enabled high-quality reconstruction of 3D scenes from multi-view images. Most methods rely on simple rendering algorithms: pre-filtered direct lighting or learned representations of irradiance. We show that a more realistic shading model, incorporating ray tracing and Monte Carlo integration, substantially improves decomposition into shape, materials & lighting. Unfortunately, Monte Carlo integration provides estimates with significant noise, even at large sample counts, which makes gradient-based inverse rendering very challenging. To address this, we incorporate multiple importance sampling and denoising in a novel inverse rendering pipeline. This substantially improves convergence and enables gradient-based optimization at low sample counts. We present an efficient method to jointly reconstruct geometry (explicit triangle meshes), materials, and lighting, which substantially improves material and light separation compared to previous work. We argue that denoising can become an integral part of high quality inverse rendering pipelines.

研究の動機と目的

• 物理ベースの Monte Carlo レンダリングを微分可能な逆レンダリングフレームワークで用い、形状・材質・照明の intrinsic 分解を改善する動機づけと実証を行う。
• 既存の表面ベースの再構成パイプラインを拡張し、PBR 材料と HDR 環境照明を持つ明示的な三角形メッシュをサポートする。
• 実用的なサンプル数での勾配ベース最適化を可能にするため、複数重要度サンプリングとデノイジングによる分散削減でモンテカルロノイズに対処する。」],
• method
• method_0
• title
• table_headers
• table_rows
• research_questions
• What are the concrete research questions the paper investigates?
• key_findings
• 1) Jointly optimizing geometry, materials, and lighting with Monte Carlo direct illumination yields improved material and light separation compared with prior work like nvdiffrec.
• 2) On synthetic NeRFactor datasets, Our method achieves PSNR 26.0 dB, SSIM 0.924, LPIPS 0.060 (NeRFactor synthetic); 26.5 dB/SSIM 0.932/LPIPS 0.055 (NeRF synthetic); 27.1 dB/SSIM 0.950/LPIPS 0.027 (Our synthetic) versus nvdiffrec 24.8 dB/0.910/0.063, 23.3 dB/0.889/0.076, 23.7 dB/0.925/0.049 for corresponding baselines.
• 3) View interpolation on NeRFactor synthetic and Nerf synthetic datasets shows Our method with denoising achieving 29.6 dB/0.951 and 28.4 dB/0.938 respectively, compared to nvdiffrec 31.7 dB/0.967 and 30.4 dB/0.958 (no denoising) for baseline, highlighting a trade-off between pure view synthesis quality and improved material/light separation.
• 4) Denoising and MIS significantly improve optimization at low samples (e.g., 8 spp) versus 32 spp without denoising, with denoisers enabling faster iterations and better light probe quality.
• 5) The approach yields plausible real-world results with explicit geometry, materials, and lighting, enabling relighting and material edits in downstream tools (e.g., Blender) while maintaining competitive reconstruction times on high-end GPUs.

提案手法

• 符号付き距離場と marching tetrahedra (DMTet) から得られる明示的な三角形メッシュを用いてトポロジーを抽出する。
• レイ追跡と影テストを用いて直接照明を計算する差分可能な Monte Carlo レンダラーでレンダリングし、Disney BRDF と接線空間法線マップを使用する。
• 高ダイナミックレンジの環境プローブで照明を表現し、ジオメトリ・空間的に変化する材質・照明を参照ビューに対するフォトメトリック損失で最適化する。
• 光・拡散・鏡面サンプリング全体に対して複数重要度サンプルを適用し、分散を低減するバランスヒューリスティック重みづけを用いる。
• 前方レンダリング品質を向上させ、デノイズされた勾配をシーンパラメータへ伝播させるために、ニューラルおよびクロス双方向フィルタの差分可能なデノイザーを組み込む。
• レンダリング方程式をアルベド、デモデュレートされた拡散照明、鏡面照明に分解し、光と材料の項のターゲット正則化を行う。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ直接照明とデノイジングを備えたフォトリアリスティックな差分可能レンダラは、マルチビュー画像から形状・材質・照明の分離を改善できるか？
• RQ2 DMTet による三角形を用いた明示的ジオメトリ表現と物理ベースのシェーディングの組み合わせは、従来手法よりリライティングと材質推定を改善しますか？
• RQ3 高周波照明を用いた逆レンダリングにおける収束速度と再構成品質に、分散削減技術（MISとデノイザ）はどのような影響を与えますか？

主な発見

• Monte Carlo の直接照明を用いたジオメトリ・材質・照明を同時最適化すると、nvdiffrec などの従来手法と比較して材質と光の分離が改善される。
• 合成 NeRFactor データセットでは、私たちの手法は PSNR 26.0 dB、SSIM 0.924、LPIPS 0.060（NeRFactor 合成）; 26.5 dB/SSIM 0.932/LPIPS 0.055（NeRF 合成）; 27.1 dB/SSIM 0.950/LPIPS 0.027（Our 合成）に対して、対応するベースラインの nvdiffrec は 24.8 dB/0.910/0.063、23.3 dB/0.889/0.076、23.7 dB/0.925/0.049。
• ビュー補間では NeRFactor 合成データと Nerf 合成データセットで、デノイズを用いた我々の手法が 29.6 dB/0.951 および 28.4 dB/0.938 を達成し、ベースラインの nvdiffrec は 31.7 dB/0.967 および 30.4 dB/0.958（デノイズなし）と比較して、純粋なビュー合成品質と材質/光の分離の改善とのトレードオフを示す。
• デノイジングと MIS は、低サンプル数（例：8 spp）での最適化を、デノイズなしの 32 spp と比較して著しく改善し、デノイザーは反復を速め、光プローブ品質を向上させる。
• この手法は、明示的なジオメトリ・材質・照明を用いた実世界に近い妥当な結果をもたらし、下流ツール（例：Blender）でのリライティングや材質編集を可能にしつつ、ハイエンドGPUで競合的な再構成時間を維持する。